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(57) Hauptanspruch: Interaktives videogestutztes Verfah- 
ren zur Bedienung eines Objektsystems aus einzelnen Ob- 
jekten, bei dem 

das Objektsystem mittels eines von einer Videobild-Auf- 
zeichnungseinrichtung (60, 70, 80; 2108, 2110) aufgenom- 
menen Videobilds in Echtzeit auf einer Anzeigeeinrichtung 
(10, 20; 2103, 2111 ) dargestellt wird; 
Modelldaten der Objekte des Objektsystems und Aufnah- 
meparameter der Videobild-Aufzeichnungseinrichtung in 
einer Speichereinrichtung (310, 320; 2104) gespeichert 
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ein Objekt des Objektsystems mittels einer Auswahleinrich- 
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der Speichereinrichtung ausgelesenen Daten mittels einer 
Ausfuhreinrichtung (300; 2201) ein Steuervorgang ausge- 
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die Echtzeit-Darstellung des von der Videobild-Aufzeich- 
nungseinrichtung (60, 70, 80; 21 08, 2110) aufgenommenen 



Videobilds auf der Anzeigeeinrichtung (10, 20; 2103,2111) 
den ausgefuhrten Vorgang darstellt. 
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Beschreibung 

TECHNISCHES GEBIET 

[0001] Die Erfindung betrifft eine Mensch/Maschine-Schnittstelle, die Audio- oder Videodaten verwendet (ein- 
fach als "Mensch/Maschine-Schnittstelle" bezeichnet), insbesondere ein Video- oder Informationsverarbei- 
tungsverfahren und eine Verarbeitungsvorrichtung zum Ausfuhren eines Prozesses fur ein Objekt unter Ver- 
wendung von Audiodaten oder Videodaten dieses Objekts, sowie ein Objektuberwachungsverfahren und eine 
Uberwachungsvorrichtung unter Verwendung des Verarbeitungsverfahrens/der Verarbeitungsvorrichtung. 

Stand der Technik 

[0002] Um ein groftes Anlagensystem, wie ein Kern(Atorn-) Kraftwerk sicher zu. betreiben, ist notwendiger- 
weise ein Betriebsuberwachungssystem mit einer geeigneten Mensch/Maschine-Schnittstelle erforderlich. 
Eine Anlage wird betriebsrnaftig durch die drei Arbeiten "Uberwachung", "Beurteilung" und "Handhabung" von 
einer Bedienperson gewartet. Ein Betriebsuberwachungssystem muft mit einer solchen Mensch/Maschi- 
ne-Schnittstelle ausgebildet sein, die dazu in der Lage ist, daft diese drei Aufgaben von einer Bedienperson 
ohne Schwierigkeiten ausgefuhrt werden konnen. Bei der Aufgabe "Uberwachung" mussen die Zustande der 
Anlage sofort oder genau erfaftt werden. Wahrend der Aufgabe "Beurteilung" muft eine Bedienperson schnell 
auf Beurteilungsmaterial und auf zu beurteilende Information zugreifen konnen. Wahrend der Aufgabe "Hand- 
habung" ist notwendigerweise eine Aufgabenumgebung erforderlich, bei der ein zu handhabendes Objekt und 
das Ergebnis der Handhabung intuitiv erfaftt werden konnen und mit der die von der Bedienperson beabsich- 
tigte Handhabung schnell und richtig ausgefuhrt werden kann. 

[0003] Die Mensch/Maschine-Schnittstelle eines herkommlichen Betriebsuberwachungssystems wird nun 
zusammenfassend hinsichtlich der Aufgabe "Uberwachung", "Beurteilung" und "Handhabung" beschrieben. 

(1) Uberwachung 

[0004] Zustande innerhalb einer Anlage konnen dadurch erfaftt werden, daft sowohl die von verschiedenen 
Sensoren zum Messen von Drucken und Temperaturen und dergleichen gewonnenen Daten als auch Video- 
daten erfaftt werden, die von Videokameras erzeugt werden, die an verschiedenen Orten der Anlage positio- 
niert sind. Werte von den verschiedenen Sensoren werden auf verschiedene Weise auf einer graphischen An- 
zeige dargestellt. Auch werden in weitem Umfang eine Trendkurve und ein Balkendiagrarnrn dargestellt. An- 
dererseits muft das von der Videokamera erzeugte Videosignal getrennt von der graphischen Anzeige auf ei- 
nem ausschlieftlich hierfur verwendeten Monitor dargestellt werden. Mehr als 40 Satze von Kameras sind in 
einer Anlage installiert, wobei es sich um keinen seltenen Fall handelt. Durch Umschalten der Kameras und 
Steuern der Linsen und Richtungen derselben uberwachteine Bedienperson die verschiedenen Orte in der An- 
lage. Bei einer normalen Uberwachungsaufgabe tritt nur sehr selten der Fall auf, daft Bilder oder Videosignale, 
wie sie von den Kameras erzeugt werden, von der Bedienperson betrachtet werden, und tatsachlich ist der 
Nutzungsgrad der von den Kameras erstellten Bilder gering. 

(2) Beurteilung 

[0005] Wenn ein aufterordentlicher Fall in der Anlage auftritt, muft eine Bedienperson sofort und genau beur- 
teilen, was gerade in der Anlage vor sich geht, was dadurch erfolgt, daft sie eine grofte Informationsmenge 
umfassend uberpruft, die von den Sensoren und Kameras erhalten wird. Da die von den verschiedenen Sen- 
soren und die Bilder oder Videosignale von den Kameras erhaltenen Daten im derzeitigen Betriebsuberwa- 
chungssystem unabhangig voneinander uberwacht oder verwaltet werden, ist es schwierig, auf diese Daten 
und Bilder unter Herstellen einer Beziehung zwischen diesen zuzugreifen, was zu einer schweren Arbeitsbe- 
lastung der Bedienperson fuhrt. 

(3) Handhabung 

[0006] Handhabungen werden unter Verwendung von Schaltern oder Hebeln ausgefuhrt, die an einer Bedien- 
konsole vorhanden sind. In letzter Zeit wurden solche Systeme vorgeschlagen, bei denen eine Handhabung 
dadurch ausgefuhrt wird, daft eine Graphikanzeige mit einem Tastpaneel versehen wird und Menus und Figu- 
ren ausgewahlt werden, die auf dem Schirm dargestellt werden. Jedoch entsprechen die Schalter und Hebel 
an der Bedienkonsole, wie auch die auf der Anzeige dargestellten Menus und Figuren abstrakten Formen, die 
fur die tatsachlichen Objekte irrelevant sind. Es besteht ein schwieriger Fall dahingehend, daft eine Bedienper- 
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son eine Annahme uber die Funktionen dieser Objekte und die Ergebnisse der Handhabungen treffen oder 
sich entsprechendes vorstellen muft. Anders gesagt, bestehen Schwierigkeiten dahingehend, daft eine Bedi- 
enperson nicht unmittelbar erkennen kann, welcher Hebel zu betatigen ist, urn eine gewunschte Funktion zu 
erzielen, oder daft sie nicht intuitiv erfassen kann, welcher Betriebsbefehl an ein Anlagenteil innerhalb der An- 
lage gesendet wird, wenn ein bestimmter Knopf gedruckt wird. Eine weitere Schwierigkeit besteht dahinge- 
hend, daft, da die Bedienkonsole getrennt vom Monitor z. B. fur die Kamera angeordnet ist, die Vorrichtung 
platzaufwendig wird. 

[0007] Der nachstehend angegebene Stand der Technik wurde vorgeschlagen, urn die Kameraumschaltab- 
laufe und die Kamerafernsteuerungsablaufe hinsichtlich der Uberwachungsaufgabe zu vereinfachen, wie sie 
im obigen Punkt (1 ) beschrieben wurden: 

(a) Graphiken, die durch Simulieren eines von einer Kamera zu photographierenden Objekts erzeugt wer- 
den, werden auf einer Graphikanzeige dargestellt. Der Photographieoet oder eine Stellung wird auf den 
oben angegebenen Graphiken angewiesen. Auf diese Anweisung hin wird die Kamera so angesteuert, daft 
ein gewunschtes Bild auf einem Karneramonitor dargestellt wird. Dieser Typ von Anlagen-Betriebsuberwa- 
chungssystem ist z. B. aus JP-A-61 -73091 bekannt. 

(b) Wenn eine Prozeftvorrichtung zum Ausfuhren entweder eines Betriebs oder eines Uberwachungsbe- 
triebs von einer Tastatur aus gekennzeichnet wird, wird ein Prozeftfluftdiagrarnm fur die gewunschte Pro- 
zeftvorrichtung graphisch dargestellt, und gleichzeitig wird ein Bild von einer Kamera zum Abbilden der 
oben angegebenen Prozeftvorrichtung auf einem Schirm dargestellt. Eine solche Art von Anlagen-Betriebs- 
uberwachungssystem ist z. B. in JP-A-2-224101 beschrieben. 

(c) Auf Grundlage einer auf einem Monitorschirm fur eine Kamera zum Photographieren einer Anlage spe- 
zifizierten Position werden Schwenk-, Zoom- und Fokussierablaufe der Kamera ausgefuhrt. Wenn z. B. der 
obere Bereich des Monitorschirms spezifiziert wird, wird die Kamera nach oben verschwenkt, wahrend sie 
dann, wenn ein unterer Bereich des Monitorschirms gekennzeichnet wird, die Kamera nach unten ver- 
schenkt wird. Eine derartige Form eines Anlagen-Betnebsuberwachungssystems ist z. B. in JP-A-62-2267 
beschrieben. 

[0008] Einerseits wurde, allgemein gesagt, bei einem Uberwachungssystem, wie einem Prozeftsteue- 
rungs-Uberwachungssystem, ein Verfahren zum visuellen Uberwachen von Zustanden des Prozesses da- 
durch verwendet, daft ein Monitorgerat in einem Zentralverwaltungsraum und eine ITV-Kamera (industrielle 
TV-Kamera) am Prozeftort installiert wurden, und Prozeftzustande auf einem Monitor mit Hilfe eines von dieser 
Kamera aufgenommenen Bildes dargestellt wurden. Dieses Bild und auch Ton wurden auf einem Aufzeich- 
nungsmedium, wie einem Videoband, aufgezeichnet. In auftergewohnlichen Fallen wurde das Aufzeichnungs- 
medium zuruckgespult, um das Bild und den Ton wiederzugeben. 

[0009] Andererseits werden Daten, die der Reihe nach vom Prozeft ausgesendet wurden und zur Steuerung 
(Steuerungsdaten) verwendet wurden, z. B. Prozeftdaten (Meftdaten) entweder auf einem Monitor oder einem 
Meftgerat oder dergleichen im Zentralverwaltungsraum dargestellt, in einer Datenbasis innerhalb eines Sys- 
tems abgespeichert und aus der Datenbasis wiedergewonnen, wenn eine Analyse erforderlich ist oder ein au- 
fterordentlicher Fall auftritt. Dieses herkommliche System ist bei dem in JP-A-60-93518 offengelegten Anzei- 
geverfahren fur den Verlauf des Anlagenbetriebs eingefuhrt. 

[0010] Tom Williams: "Graphic interfaces make knobs and switches obsolete" in Computer Design, August 
1990, Seite 78 bis 94 offenbart die Verwendung von Videobildern oder Ton im Benutzer-lnterface einer Pro- 
zeftsteuerung. Beispielsweise werden Grafikobjekte aus Videobildern tatsachlicher Instrumente und aufge- 
zeichneter Schall zur Information des Bedienungspersonals verwendet. In diesem Beispiel werden die Video- 
bilder vorab aufgezeichnet und Zur Verwendung als Grafikobjekte entsprechend uberarbeitet. 

[0011] W. Riehnecker: "Digitale Bildverarbeitung" in Elektronik 7/30.3.1990, Seite 86 bis 96 beschreibt die 
Verwendung digitaler Mustererkennungsverfahren in Sensoren der industriellen Fertigungstechnik. 
DE-A-4033303 betrifft ein Mustererkennungsverfahren zur automatischen Uberwachung einer industriellen 
Anlage. Interaktive Videofilme auf CD-ROM sind Gegenstand der "Digital Video Interactive" Technik (DVI), die 
von Mathias Ebert: "Animation, brauchen wir die schon?" in Design & Elektronik, 15, Juli 1990, Seite 99 und 
100 behandelt wird. 

Offenbarung der Erfindung 

[0012] Wie oben beschrieben, liegen die folgenden Schwierigkeiten bei herkommlichen Betriebsuberwa- 
chungssystemen vor: 
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(1) Da es schwierig ist, das Gefuhl des korperlichen Vorhandenseins an einem Ort uber Fernsteuerungen 
unter Verwendung von Schaltern, Knopfen und Hebeln an einer Bedienkonsole sowie auf einem Monitor- 
schirm dargestellten Menus und Ikonen zu erfassen, konnen das zu bedienende tatsachliche Objekt und 
das Bedienungsergebnis nur schwer intuitiv erfaftt werden. So bestehen viele Moglichkeiten fur fehlerhafte 
Handhabungen. 

(2) Die Bedienperson muft direkt die Kameras umschalten und auch direkt den Fernsteuerungsbetrieb aus- 
fuhren, und sie kann nicht einfach eine solche Katnera auswahlen, die dazu in der Lage ist, eine gewunsch- 
te Szene abzubilden, wenn eine grofte Anzahl von Kameras zum Uberwachen der Szene verwendet wird. 
Es ist eine muhselige Aufgabe, die gewunschte Szene dadurch zu betrachten, daft eine am entfernten Ort 
aufgestellte Kamera betatigt wird. 

(3) Der Schirm zum Darstellen des Bildes oder des Videosignals von der Videokamera, der Schirm, uber 
den auf andere Daten Bezug genommen wird, und der Schirm oder das Gerat, uber die eine Handhabung 
angewiesen wird, liegen getrennt vor. Demgemaft treten Schwierigkeiten dahingehend auf, daft das sich 
ergebende Gerat voluminos wird und daft die wechselseitige Beziehung zwischen dem Videobild und den 
anderen Daten schwierig wird. 

(4) Obwohl ein Videobild einer Kamera eine grofte Wirkung dahingehend hat, das Gefuhl des korperlichen 
Vorhandenseins zu vermitteln, da dieses Bild eine grofte Informationsmenge enthalt und auch nicht abstra- 
hiert ist, besteht der Nachteil, daft eine Bedienperson nur schwer und intuitiv eine Struktur innerhalb des 
Kamerabildes erfassen kann. 

[0013] Bei graphischer Darstellung kann andererseits ein wichtiger Bereich hervorgehoben werden, und un- 
wichtige Bereiche konnen vereinfacht werden, und dann kann nur ein wesentlicher Bereich als abstraktes Bild 
dargestellt werden. Jedoch werden diese graphischen Darstellungen vom tatsachlichen Objekt und dem tat- 
sachlichen Vorgang getrennt, und daher besteht die Gefahr, daft eine Bedienperson die Beziehung zwischen 
den graphischen Darstellungen und dem tatsachlichen Vorgang/Objekt nicht leicht erfassen kann. 

(5) Die von der Kamera gewonnene Videoinformation wird insgesamt und unabhangig von anderer Infor- 
mation (z. B. von Daten uber Druck und Temperaturen und dergleichen) verwaltet, so daft die Wechselbe- 
ziehung nicht einfach hergestellt werden kann. Infolgedessen ist es schwierig, eine umfassende Beurtei- 
lung derZustande vorzunehmen. 

[0014] Andererseits weist das im oben angegebenen Dokument JP-A-61-73091 offenbarte Verfahren das 
Verdienst auf, daft ein gewunschtes Bild einfach dadurch dargestellt werden kann, daft ein zu photographie- 
rendes Objekt spezifiziert wird, ohne daft komplexe Kamerabedienungen erforderlich sind. Jedoch kann auf 
das dem aufgenommenen Bild entsprechende dargestellte Bild und die Steuerinformation nicht einfach da- 
durch Bezug genommen werden, daft der im Videobild rep rase ntierte Inhalt spezifiziert wird (darzustellendes 
Anlagenteil und dergleichen). Infolgedessen muft eine Bedienperson dann, wenn sie einen auftergewohnli- 
chen Bereich auf einem Kameramonitor herausfindet und versucht, diesen auftergewohnlichen Bereich genau- 
er zu betrachten, ihre Augen zum Graphikschirm wenden und den dem auftergewohnlichen Bereich auf dem 
Bild entsprechenden Bereich hinsichtlich der Graphiken neu uberprufen. 

[0015] Hinsichtlich des in JP-A-2-224101 beschriebenen Verfahrens besteht auch ein Vorteil dahingehend, 
daft sowohl die dem durch die Tastatur spezifizierten Anlagenteil entsprechende graphische Darstellung als 
auch das Kamerabild gleichzeitig dargestellt werden konnen. Jedoch kann die Spezifizierung des Anlagenteils 
nicht direkt auf dem Schirm vorgenommen werden. Infolgedessen muft eine Bedienperson dann, wenn sie ei- 
nen aufterordentlichen Bereich auf dem Kameramonitor feststel It und versucht, diesen aufterordentlichen Be- 
reich detaillierterzu betrachten, auf der Tastatur nach derdiesem auftergewohnlichen Bereich entsprechenden 
Tate suchen. 

[0016] Daruber hinaus wird bei dem in JP-A-62-226786 offenbarten Verfahren, obwohl der Betrieb der Kame- 
ra auf dem Schirm spezifiziert werden kann, auf dem das Bild dargestellt wird, ohne daft hierzu eine Eingabe- 
vorrichtung, z. B. ein Joystick, verwendet wird, nur ein Befehl, wie die Schwenkrichtung oder das Aufzoomen 
oder Abzoomen der Kamera, ausgewahlt wird. Die Bedienperson muft die Kamera dahingehend einstellen, wie 
weit sie verschwenkt werden soil, um das zu uberwachende Objekt genauer betrachten zu konnen, was bein- 
haltet, daft diese komplexe Bedienung im wesentlichen mit einer solchen identisch ist, bei der ein Joystick ver- 
wendet wird. Da das zu bedienende Objekt auf eine einzige Kamera beschrankt ist, kann daruber hinaus nicht 
das optimale Bild von einer Mehrzahl von Kameras ausgewahlt werden. 

[0017] Wie oben beschrieben, kann bei den in den jeweiligen Veroffentlichungen dargelegten Verfahren die 
inhaltsbezogene Information (graphische Reprasentierungen, wie Bild- und Steuerungsinformation) nicht da- 
durch aufgerufen werden, daft direkt der auf dem Bild dargestellte Inhalt spezifiziert wird (dargestellte Anlagen- 
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teile). Infolgedessen muft die Bedienperson die Information selbst herausfinden, die mitdem im Bild dargestell- 
ten Inhalt zusarnrnenhangt. 

[0018] Andererseits mussen beim Uberwachungssystem, wie dem oben beschriebenen Prozeftuberwa- 
chungssystem und dergleichen, da die Videoinformation, die Ton(Audio-)information und die Prozeftdaten 
nicht wechselseitig miteinander verknupft werden, diese Daten dann, wenn sie beim Stand der Technik wie- 
dergegeben oder analysiert werden, getrennt wiedergegeben oder analysiert werden. Wenn z. B. ein aufter- 
gewohnlicher Vorgang auftritt, wird dieser Vorgang dadurch festgestellt, daft eine Mefteinrichtung einen Sum- 
mer betatigt. Danach wird der entsprechende Anlagenteil aus dem gesamten Prozeftdiagramm herausge- 
sucht, und die Ursache und das Losungsverfahren werden bestimmt, so daft der erforderliche Prozeft ausge- 
fuhrt werden kann. In diesem Fall istzum Erkennen der Ursache und der ausgefallenen Vorrichtung eine sehr 
grofte Arbeitsbelastung erforderlich, da eine grofte Menge wechselbezogener Daten und Bilder erforderlich 
sind. Bei einer Analyse unter Verwendung von Videodaten wird ein Verfahren verwendet, bei dem das Gebiet 
urn den auftergewohnlichen Bereich herum auf Grundlage von Prozeftdaten uberpruft wird, nachdem die Vi- 
deodaten vorab betrachtet wurden, urn das Gebiet nahe dem auftergewohnlichen Bereich aufzusuchen, und 
ein Verfahren zum Wiedergeben des Bildes durch Zuruckspulen der Videodaten, nachdem der auftergewohn- 
liche Punkt mit Hilfe der Prozeftdaten herausgefunden wurde. 

[0019] Jedoch sind, allgemein gesagt, mehrere ITV-Kameras zum Uberwachen der Anlage und dergleichen 
vorhanden. Da die von diesen aufgenommenen Bilder auf mehreren Videobandern aufgezeichnet wurden, 
mussen all diese Videobander zuruckgespult und wiedergegeben werden, bis der gewunschte Video- 
bandabschnitt erscheint, damit die Bilder von den jeweiligen Kameras unter Wechselbeziehung betrachtet wer- 
den konnen, wenn ein auftergewohnlicher Vorgang auftritt und die Analyse ausgefuhrt wird, was zu einer 
schweren Arbeitsbelastung der Bedienperson fuhrt. 

[0020] Andererseits ist es schwierig, auf die gewunschten Daten aus der Datenbasis zuzugreifen, und in den 
meisten Fallen wird, nachdem eine grofte Informationsmenge ausgedruckt wurde, die gedruckte Information 
von den Bedienpersonen analysiert. 

[0021] Wie oben beschrieben, bestehen die folgenden Schwierigkeiten bei einem herkommlichen Uberwa- 
chungssystem, wie einem Prozeftsteuerungs-Uberwachungssystem. 

(1) Wenn Videoinformation und Audio(Ton-)information wiedergegeben werden, ist, da auf die Prozeftdaten 
nicht zur selben Zeit zugegriffen werden kann, selbst dann, wenn Information aus einem Bild erhalten wird, 
muhselige Arbeiten uber langere Zeit erforderlich, um anschlieftend die Prozeftdaten zu suchen. 

(2) Selbst wenn die Prozeftdaten in einer Trendkurve oder dergleichen aufgezeichnet werden und der Zeit- 
punkt, zu dem eine Bedienperson auf ein Bild zugreifen mochte, erkannt werden kann, sind sowohl muh- 
selige Arbeit als auch langere Zeit aufzuwenden, um das Bild darzustellen. Infolgedessen konnen die aktu- 
ellen Feldzustande nicht schnell erfaftt werden. 

(3) Selbst wenn Prozeftdaten, wie solche mit einem aufterordentlichen Wert, gesucht werden, ist muhselige 
Arbeit dazu erforderlich, das diesen Prozeftdaten zugeordnete Bild darzustellen. 

(4) Wahrend aufgezeichnete Prozeftdaten dargestellt werden, besonders, wenn eine grofte Menge aufge- 
zeichneter Daten bei schnellem Vorlauf dargestellt wird, wird der Computer stark belastet. 

(5) Da eine Beschrankung hinsichtlich des Datendarstellungsverfahrens besteht, kann Anforderungen, daft 
Inhalte derselben im einzelnen beobachtet werden konnen oder auch ubersprungen werden, nicht genugt 
werden. Insbesondere dann, wenn die Inhalte von Daten dadurch analysiert werden, daft sie im einzelnen 
betrachtet werden, konnte eine detailliertere Analyse ausgefuhrt werden, wenn in Beziehung stehende Bil- 
der und auch Toninformation bei langsamer Wiedergabe erfaftt wurden. Jedoch ist keine derartige Funktion 
vorhanden. 

(6) Die Bedienanweisungen durch die Bedienperson liegen als wichtiges Element zum Bestimmen des Pro- 
zeftablaufs vor. Da diese nicht aufgezeichnet werden, kann nicht erkannt werden, ob die Prozeftbedingun- 
qen verandert wurden oder nicht, und falls ja, durch Ausfuhren welcher Art von Bedienung. 

(7) Selbst wenn eine Bedienperson sich an den ausgefuhrten Befehl erinnert, muft, da nach diesem Befehl 
nicht gesucht werden kann, eine Abschatzung fur den Zeitpunkt getroffen werden, zu dem die Bedienan- 
weisung ausgegeben wurde, was dadurch erfolgt, daft die Prozeftdaten und dergleichen analysiert werden. 

(8) Da keine Beziehung zwischen den Prozeftdaten und der Videoinformation besteht, kann, selbst wenn 
in einem Bild ein auftergewohnlicher Vorgang aufgefunden wird, nureine geschickte Bedienperson mit viel 
Erfahrung verstehen, welche Szene von einem Bild wiedergegeben wird und welche Art von Daten daraus 
ausgegeben wird. Demgemaft kann nur eine sehr erfahrene Bedienperson erkennen, welche Prozeftein- 
richtung in Beziehung zu den Daten steht. 

(9) Da der Ort zum Darstellen des Videobildes vom Ort zum Darstellen der Prozeftdaten getrennt ist, muft 
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die Bedienperson ihre Blickrichtung verandern, und sie kann nicht gleichzeitig die Daten und die Bilderbe- 
trachten, die sich von Zeit zu Zeit andern. 

(10) Es besteht eine Schwierigkeit hinsichtlich der Reproduzierbarkeit des herkommlich verwendeten Vide- 
obandes in bezug auf schnellen Zugriff auf Videodaten. Wenn andererseits eine optische Platte verwendet 
wurde, konnte ein schneller Zugriff moglich sein. Da Videodaten jedoch sehr umfangreich werden, ware 
eine Platte mit grower Speicherkapazitat erforderlich, um die Videodaten aufzuzeichnen. 

Aufgabenstellung 

[0022] Es ist ein Zweck der Erfindung, ein Bedienungsverfahren und eine Vorrichtung anzugeben, die dazu 
in der Lage sind, einen mit Ton(Audio-)daten oder Video(Bild-)daten zu einem Objekt in Verbindung stehenden 
Vorgang bzw. Prozess auf Grundlage dieser Daten auszufuhren. 

[0023] Die Losung dieser Aufgabe gelingt mit einem Verfahren nach Anspruch 1 . Die abhangigen Anspruche 
betreffen bevorzugte Ausfuhrungsbeispiele der Erfindung. Anspruch 40 betrifft eine Vorrichtung zur Ausfuh- 
rung des Verfahrens der Erfindung. 

[0024] Gemaft einer Erscheinungsform der Erfindung ist eine Videoverarbeitungsvorrichtung zum Ausfuhren 
eines mit einem Videobild mindestens eines auf einem Schirm einer Anzeigeeinheit in Beziehung stehenden 
Prozesses mit einer Einheit zum Speichern von mit dem Objekt in Beziehung stehender Information und mit 
einer Einheit zum Ausfuhren eines Prozesses fur dieses Objekt auf Grundlage der obigen Information verse- 
hen. 

[0025] Gemaft einer anderen Erscheinungsform der Erfindung weist eine Informationsverarbeitungsvorrich- 
tung zum Speichern sowohl von Daten (Steuerungsdaten), die zum Steuern eines Objektes verwendet wer- 
den, als auch von Daten fur Ton oder ein Bild, die zu diesem Objekt in Beziehung stehen, eine Einheit zum 
Herstellen einer Beziehung der Steuerungsdaten entweder mit den Tondaten oder den Videodaten auf, und 
auch eine Einheit zum Herstellen einer Beziehung der Steuerungsdaten mit den auszugebenden Tondaten 
oder Videodaten auf Grundlage der Beziehungseinheit. 

[0026] Vorzugsweise ist es ein Ziel der Erfindung, die oben angegebenen Schwierigkeiten im Stand derTech- 
nik zu losen und mindestens einen der folgenden Punkte (1 ) bis (6) zu erreichen. 

(1) Bei einem Fernbedienungs-Uberwachungssystem und dergleichen konnen ein zu bedienendes Objekt 
und ein Bedienergebnis von einer Bedienperson intuitiv erfafit werden. 

(2) Ein Bild eines zu uberwachenden Ortes kann einfach ohne muhselige Kamerabedienungen und muh- 
selige Fernsteuerungen von Kameras betrachtet werden. 

(3) Das Fernbedienungs-Oberwachungssystem und dergleichen kann kompakt ausgebildet werden, was zu 
einer Platzersparnis fuhrt. 

(4) Vorzuge eines Kamerabildes und von Graphiken werden unabhangig voneinander herausgestellt, und 
auch Mangel derselben konnen gegeneinander kompensiert werden. 

(5) Auf verschiedene Informationsarten kann schnell und mit Wechselbeziehung Bezug genommen wer- 
den. Z. B. kann direkt auf die Temperatur eines Bereichs Bezug genommen werden, die gerade durch ein 
Kamerabild uberwacht wird. 

(6) Eine Mensch/Maschine-Schnittstelle zum Erreichen der obigen Ziele kann einfach entworfen und entwi- 
ckelt werden. 

[0027] Gemaft der Erfindung werden die oben angegebenen Ziele (1) bis (5) durch ein Verfahren mit den 
nachstehend angegebenen Schritten gelost: 

(1) Objektspezifizierungsschritt 

[0028] Ein Objekt innerhalb eines auf einem Schirm dargestellten Videobildes wird dadurch spezifiziert, daft 
eine Eingabeeinrichtung, wie eine Zeigeeinrichtung (diese wird im folgenden als "PD" = Pointing Device be- 
zeichnet), verwendet wird. Das Videosignal wird von einer entfernt angeordneten Videokamera eingegeben, 
oder es wird von einem Speichermedium wiedergegeben (optische Videoplatte, Videobandrecorder, Compu- 
terplatte). Als Zeigeeinrichtung wird z. B. ein Tastpaneel, ein Tablett, eine Maus, eine Augenfolgeeinrichtung, 
eine Zeigeeingabeeinrichtung usw. verwendet. Bevor ein Objekt spezifiziert wird, kann ein innerhalb eines Bil- 
des spezifizierbares Objekt deutlich mit Hilfe einer Graphiksynthese angezeigt werden. 
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(2) Prozeftausfuhrungsschritt 

[0029] Auf Grundlage des durch den oben angegebenen Objektspezifizierungsschritt spezifizierten Objekts 
wird ein Prozeft ausgefuhrt. Z. B. ist der Prozeftinhalt der folgende: 

- Ein Bedienungsbefehl wird ausgesendet, durch den ein ahnliches Ergebnis erhalten wird, wie wenn das 
spezifizierte Objekt betatigt wird oder betatigt wurde. Wenn das spezifizierte Objekt z. B. einem Knopf ent- 
spricht, wird eine derartige Bedienanweisung ausgesendet, durch die ein ahnliches Ergebnis erzielt wird, 
als wenn der Knopf tatsachlich gedruckt wird oder gedruckt wurde. 

- Auf Grundlage des spezifizierten Objektes wird das Bild gewechselt. Z. B. kann das spezifizierte Objekt 
in seiner besten Darstellung durch Betatigen einer entfernt angeordneten Kamera beobachtet werden. 
Durch Bewegen der Richtung der Kamera wird das spezifizierte Objekt in der Mitte des Bildes abgebildet, 
und das spezifizierte Objekt wird durch Steuern einer Linse mit grofter Gestalt abgebildet. Bei einem ande- 
ren Beispiel wird ein Wechsel zu einem solchen Kamerabild vorgenommen, bei dem das spezifizierte Ob- 
jekt unter einem anderen Winkel dargestellt wird, oder es wird auf ein Bild einer Kamera zum Photographie- 
ren eines mit dem spezifizierten Objekt in Beziehung stehenden Objektes gewechselt. 

- Um das spezifizierte Objekt klar darzustellen, wird eine aus einem Bild und einem Synthesebild zusam- 
mengesetzte Graphik dargestellt. 

- Mit dem spezifizierten Objekt in Beziehung stehende Information wird dargestellt. Z. B. werden eine Hand- 
bedienungsinformation und ein Strukturdiagramm dargestellt. 

- Eine mit dem spezifizierten Objekt verknupfte Liste ausfuhrbarer Prozesse wird als Menu dargestellt. Ein 
Menu kann als Muster (Figur) dargestellt werden. Anders gesagt, werden mehrere Muster mit einem dar- 
zustellenden Bild synthetisiert, die synthetisierten und dargestellten Muster werden durch die PD ausge- 
wahlt, und dann wird auf Grundlage des ausgewahlten Musters der folgende Prozeft ausgefuhrt. 

[0030] Mit der Erfindung kann das oben angegebene Ziel (1 ) auch durch ein Verfahren mit einem Schritt zum 
graphischen Darstellen einer Steuerungseinrichtung erreicht werden, um ein gesteuertes Objekt am oder nahe 
beim in einem Bild dargestellten gesteuerten Objekt zu steuern. 

[0031] Gemaft der Erfindung kann auch das Ziel (2) durch ein Verfahren erreicht werden, das einen 
Suchschlussel-Spezifizierschritt aufweist, um einen Suchschlussel dadurch zu spezifizieren, daft entweder 
Text oder Graphik eingegeben wird, und das einen Videosuchschritt beinhaltet, um ein Videobild darzustellen, 
in dem ein Objekt dargestellt wird, das mit dem im vorstehend genannten Suchschlussel-Spezifizierschritt spe- 
zifizierten Schlussel zur Ubereinstimmung gebracht wurde. 

[0032] Was das oben angegebene Ziel (6) betrifft, so wird dieses mit einem Verfahren erreicht, das einen Bild- 
darstellungsschritt zum Darstellen eines von einer Videokamera eingegebenen Bildes, einen Bereichspezifi- 
zierschritt zum Spezifizieren eines Bereichs auf dem durch den Bilddarstellungsschritt dargestellten Bild sowie 
einen Prozeftdefinierschritt zum Definieren eines Prozesses in dem durch den Bereichspezifizierschritt darge- 
stellten Bereich verfugt. 

[0033] Ein Objekt in einem Videobild auf einem Schirm wird direkt spezifiziert, und eine Bedienanweisung 
wird an das spezifizierte Objekt gesendet. Wahrend eine Bedienperson ein aktuell dargestelltes Bild des Ob- 
jektes betrachtet, fuhrt sie eine Bedienungsanweisung aus. Wenn das Objekt visuell auf die Bedienungsanwei- 
sung hin verstellt wird, wird diese Bewegung direkt auf dem Kamerabild wiedergespiegelt. Dadurch kann die 
Bedienperson die Fernbedienung so ausfuhren, daft sie das Gefuhl hat, als wurde sie tatsachlich vor Ort han- 
deln und direkt die Bedienung hinsichtlich des aktuell dargestellten Bildes ausfuhren. Infolgedessen kann die 
Bedienperson das Verhalten eines zu bedienenden Objektes und auch das Ergebnis der Bedienung intuitiv er- 
fassen, so daft fehlerhafte Bedienungen verringert werden. 

[0034] Auf Grundlage des im Bild auf dem Schirm spezifizierten Objektes werden die Kameras ausgewahlt, 
und die Bedienungsanweisung wird an die Kameras ubertragen. Infolgedessen kann ein zum Uberwachen ei- 
nes Objektes geeignetes Bild nur dadurch erhalten werden, daft das Objekt innerhalb des Bildes spezifiziert 
wird. D. h., daft die Bedienperson lediglich ein Objekt spezifiziert, das sie zu beobachten wunscht, so daft kein 
Erfordernis dahingehend besteht, die Kamera auszuwahlen und die Kamera fernzubedienen. 

[0035] Wenn ein Objekt innerhalb eines Bildes direkt bedient wird, wird in Verbindung damit eine Graphik in 
geeigneter Weise synthetisiert, und das Synthesebild wird dargestellt. Wenn z. B. ein Benutzer einmal ein Ob- 
jekt spezifiziert hat, wird eine derartige graphische Darstellung zum deutlichen Anzeigen, welches Objekt spe- 
zifiziert wurde, vorgenommen. Infolgedessen kann eine Bedienperson bestatigen, daft die beabsichtigte Be- 
dienung gewift ausgefuhrt, wird. Auch wenn mehrere Prozesse hinsichtlich des spezifizierten Objektes ausge- 
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fuhrt werden konnen, wird ein Menu zum Auswahlen eines gewunschten Prozesses dargestellt. Dieses Menu 
kann durch ein Muster aufgebaut sein. Wahrend das im Menu dargestellte Muster ausgewahlt wird, kann die 
Bedienperson das starke Gefuhl haben, daft sie das Objekt tatsachlich bedient. 

[0036] Auf Grundlage des innerhalb des auf dem Schirm dargestellten Bildes spezifizierten Objektes wird In- 
formation dargestellt. Infolgedessen kann auf mit dem Objekt innerhalb des Bildes in Beziehung stehende In- 
formation ohne Spezifizierung des Objektes Bezug genommen werden. Wahrend gleichzeitig auf ein Bild und 
andere Information Bezug genommen wird, ist es einfach moglich, eine Entscheidung uber die Zustande zu 
treffen. 

[0037] EntwederText oder Muster wird als Suchschlussel eingegeben, und dann wird ein Bild dargestellt, in 
dem ein mit dem eingegebenen Suchschlussel in Ubereinstimmung stehendes Objekt dargestellt wird. Der 
Text wird durch eine Zeicheneingabeeinrichtung, wie eine Tastatur, eine Spracherkennungseinrichtung oder 
eine Erkennungseinrichtung fur handgeschriebene Zeichen, eingegeben. Alternativ kann das Muster unter 
Verwendung einer PD eingegeben werden, oder es werden Daten eingegeben, die durch ein anderes Verfah- 
ren erzeugt wurden. 

[0038] Auch kann der Text oder das Muster im Bild als Suchschlussel spezifiziert werden. Wenn das auf 
Grundlage des Suchschlussels zu suchende Bild einem Kamerabild entspricht, wird die Kamera ausgewahlt, 
und ferner werden die Richtung der Kamera und ihre Linse so eingestellt, daft das dem Suchschlussel entspre- 
chende Bild dargestellt werden kann. Es ist auch moglich, klar anzugeben, wo ein mit dem Suchschlussel in 
Ubereinstimmung gebrachter Bereich innerhalb des Bildes angeordnet ist, und zwar dadurch, daft die Graphi- 
ken fur das Bild geeignet synthetisiert werden, in dem das dem Suchschlussel entsprechende Objekt vorhan- 
den ist. Wie oben beschrieben, wird das Bild auf Grundlage des Suchschlussels dargestellt, und die Bedien- 
person versieht lediglich ein gewunschtes, zu betrachtendes Objekt mit einem Namen oder einem Muster, so 
daft ein gewunschtes Bild fur Beobachtungszwecke eingestellt werden kann. 

[0039] Der Inhalt eines auszufuhrenden Prozesses wird festgelegt, wenn ein Objekt innerhalb eines Bildes 
durch Anzeigen des Bildes spezifiziert wurde, ein Bereich dieses Bildes spezifiziert wurde und ein Prozeft hin- 
sichtlich des spezifizierten Bereichs definiert wurde. Infolgedessen kann eine Mensch/Maschine-Schnittstelle 
zum direkten Handhaben des Objektes innerhalb des Bildes gebildet werden. 

Ausfuhrungsbeispiel 

Kurze Beschreibung der Zeichnungen 

[0040] Fig. ,_1A ist ein Blockdiagramm zum Erlautern einer abstrahierten Anordnung der Erfindung. 

[0041] Fjq. 1B ist ein Diagramm zum Erlautern einer Beziehung zwischen verschiedenen Ausfuhrungsbei- 
spielen der Erfindung und der abstrahierten Anordnung von Fig- 1A . 

[0042] Fsca, 2 ist eine schematische Darstellung zum Veranschaulichen der Gesamtanordnung eines Anla- 
genuberwachungssystems gemaft einem Ausfuhrungsbeispiel der Erfindung, bei dem ein Video- oder Infor- 
mationsverarbeitungsverfahren und eine Vorrichtung gemaft der Erfindung eingesetzt wurden. 

[0043] Fsca, 3 ist ein Diagramm zum Darstellen eines Beispiels einer Hardwareanordnung eines in Fig, 2 dar- 
gestellten Mensch/Maschine-Servers. 

[0044] Fig, 4 ist ein Diagramm zum Zeigen eines Aufbaubeispiels eines Anzeigeschirms im Anlagenbetriebs- 
uberwachungssystem des vorliegenden Ausfuhrungsbeispiels. 

[0045] Fig. 5 ist ein Diagramm zum Darstellen eines Beispiels einer Schirmanzeigebetriebsart fur einen 
Zeichnungsanzeigebereich eines Anzeigeschirms. 

[0046] Fig. 8 ist ein Diagramm zum Darstellen einer Beziehung zwischen einem Feld und einer Schirmanzei- 
gebetriebsart des Bildanzeigebereichs. 

[0047] Ffg, 7A und Fig, 7B veranschaulichen ein Beispiel eines Kameraparameter-Einstellablaufs durch 
Spezifizieren eines Objekts. 
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[0048] Fjg Juu 8A und Fjg^BB, zeigen ein Beispiel eines Kameraparameter-Einstellablaufs zum Kennzeichnen 
eines Objekts. 

[0049] Fia. 8 reprasentiert ein Beispiel einer Tastenbetatigung zum Spezifizieren eines Objekts. 

[0050] Fig. 10 aibt ein Beispiel einer Schieberbetatigung zum Spezifizieren eines Objekts. 

[0051] Fig. 11A und Fig. 11B zeigen ein Beispiel fur Ablaufe zum Auswahlen jeweiliger Muster. 

[0052] Fia* 12 ist ein Diagramm, das ein Beispiel zum deutlichen Anzeigen eines bedienbaren Objektes zeigt. 

[0053] Fig, 13 ist ein Diagramm zum Darstellen eines Beispiels fur Bildsuche durch einen Suchschlussel. 

[0054] Fig, 14 veranschaulicht ein Beispiel eines dreidimensionalen Modells. 

[0055] Fig. 15 ist ein Diagramm zum Darstellen einer Beziehung zwischen dem dreidimensionalen Modell 
und dem auf einem Schirm dargestellten Bild. 

[0056] Fig. 18 ist ein Diagramm zum Darstellen einer Beziehung zwischen einem Objekt und einem Punktauf 
einem Schirm. 

[0057] Fig. 17 ist ein FluRdiagramm zum Darstellen des Ablaufs eines Objektidentifizierprozesses unter Ver- 
wendung des dreidimensionalen Modells. 

[0058] Fjg-JJ| ist ein Flufidiagramm zum Darstellen einer Folge eines Realisierungsverfahrens gemafc dem 
Ausfuhrungsbeispiel. 

[0059] Fig, 18A und Fag. 19B sind Diagramme zum Darstellen einer Beziehung zwischen einem zweidimen- 
sionalen Modell und einem Kameraparameter. 

[0060] Fjg. _20A und FSg. 208 sind Diagramme zum Darstellen einer Beziehung zwischen dem zweidimensi- 
onalen Modell und einem anderen Kameraparameter. 

[0061] Fia- 21A und Fig. 21B sind Diagramme zum Darstellen einer Beziehung zwischen dem zweidimensi- 
onalen Modell und einem weiteren Kameraparameter. 

[0062] Fig, 2,2 ist ein Diagramm zum Darstellen einer Folge eines Objektidentifizierprozesses unter Verwen- 
dung des zweidimensionalen Modells. 

[0063] Fig. 23 veranschaulicht eine Struktur einer Kameradatentabelle. 

[0064] Fia. 24 reprasentiert eine Struktur einer Kameradatentabelle. 

[0065] Fig. 25 zeigt eine Datenstruktur eines Bereichsrahmens. 

[0066] Fia. 26 zeigt ein Definitionswerkzeug fur ein 2D-Modell eines Objekts. 

[0067] Fig. 27 zeigt einen Zustand bei der Modelldefinition. 

[0068] Fig. 28 zeigt die Darstellung einer Erklarung zu einem Objekt. 

[0069] Fig. 29 ist ein Diagramm zum Darstellen der Anordnung eines Uberwachungssystems gemaft einem 
anderen Ausfuhrungsbeispiel der Erfindung. 

[0070] Fsq. 30 ist ein Diagramm zum Darstellen eines Aufbaubeispiels einer in Fsg, 29 dargestellten Worksta- 
tion. 

[0071] Fig. 31 ist ein Diagramm zum Darstellen eines Aufbaubeispiels einer Bild/Ton-Aufzeichnungseinheit. 
[0072] Fig. 32 ist ein erlauterndes Diagramm fur ein Beispiel eines Anzeigeschirms. 



9/97 



DE42 90 947B4 2006.11.02 

[0073] Fjq. uu 33 ist ein erlauterndes Diagramm fur ein Beispiel einer auf der Anzeige dargestellten Trendkurve. 

[0074] Hq. 34 ist ein erlauterndes Diagramm einer Anzeigedarstellung gemafc einem weiteren Ausfuhrungs- 
beispiel der Erfindung. 

[0075] Flu. 35A und Flo. 35B sind erlauternde Diagramme eines Videocontrollers zum Bestimmen der Wie- 
dergaberichtung und der Geschwindigkeit von Bild und Ton. 

[0076] Fi q uV 38A bis Fig. 3SG sind erlauternde Diagramme zum Darstellen von Datenstrukturen, wie Prozefc- 
daten und Videodaten, die bei einem weiteren Ausfuhrungsbeispiel verwendet werden. 

[0077] Fig, 37 ist ein Fluftdiagramm zum Reprasentieren von Beispielen von Ablaufen zum Aufzeichnen von 
Bild und Ton auf der Bild/Ton-Aufzeichnungseinheit. 

[0078] F|flL38 ist ein Flufidiagramm zum Darstellen eines Beispiels eines Betriebs zum Darstellen des auf- 
gezeichneten Bildes. 

[0079] Fig, 39 ist ein Fluftdiagramm zum Darstellen eines Beispiels eines Ablauts zum Realisieren eines wei- 
teren Ausfuhrungsbeispiels der Erfindung. 

[0080] JFIg, 40 ist ein erlauterndes Diagramm zum Darstellen einer Anzeigedarstellung gemaft einem anderen 
Ausfuhrungsbeispiel der Erfindung. 

[0081] Fig. 41 ist ein Fluftdiagramm zum Darstellen eines Beispiels eines Ablaufs zum Realisieren eines an- 
deren Ausfuhrungsbeispiels der Erfindung. 

[0082] Fig. 42 ist ein erlauterndes Diagramm zum Anzeigen einer Anzeigedarstellung gemafc einem anderen 
Ausfuhrungsbeispiel der Erfindung. 

[0083] Fica, 43 ist ein FlufkJiagramm zum Darstellen eines Beispiels eines Ablaufs zum Realisieren eines an- 
deren Ausfuhrungsbeispiels der Erfindung. 

[0084] Fig, 44 ist ein erlauterndes Diagramm einer Anzeigedarstellung gemaft einem anderen Ausfuhrungs- 
beispiel der Erfindung. 

[0085] Fig. 45 ist ein erlauterndes Diagramm eines Anzeigedarstelllung gemafc einem anderen Ausfuhrungs- 
beispiel der Erfindung. 

[0086] Fig. 48 ist ein FlufkJiagramm zum Darstellen eines Ablaufbeispiels zum Realisieren eines anderen 
Ausfuhrungsbeispiels der Erfindung. 

[0087] Fsca. 48 ist ein erlauterndes Diagramm fur eine Anzeigedarstellung gemaft einem anderen Ausfuh- 
rungsbeispiel der Erfindung. 

[0088] Fig, 47 ist ein erlauterndes Diagramm eines Anzeigedarstelllung gemafc einem anderen Ausfuhrungs- 
beispiel der Erfindung. 

[0089] Fig, 48 ist ein FlufkJiagramm zum Darstellen eines Bedienbeispiels zum Realisieren eines anderen 
Ausfuhrungsbeispiels der Erfindung. 

[0090] Fig, 49 ist ein erlauterndes Diagramm eines Anzeigedarstelllung gemafc einem anderen Ausfuhrungs- 
beispiel der Erfindung. 

[0091] Flea. 50 ist ein erlauterndes Diagramm eines Anzeigedarstelllung gemafc einem anderen Ausfuhrungs- 
beispiel der Erfindung. 

[0092] FiflLSl ist ein erlauterndes Diagramm eines Anzeigedarstelllung gemafc einem anderen Ausfuhrungs- 
beispiel der Erfindung. 

[0093] Fig. 52 ist ein erlauterndes Diagramm eines Anzeigedarstelllung gemaft einem anderen Ausfuhrungs- 
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beispiel der Erfindung. 

[0094] Hq. 53 ist ein erlauterndes Diagramm eines Anzeigedarstelllung gemaft einem anderen Ausfuhrungs- 
beispiel der Erfindung. 

[0095] Fig. 54 ist ein erlauterndes Diagramm eines Anzeigedarstelllung gemaft einem anderen Ausfuhrungs- 
beispiel der Erfindung. 

[0096] Fjq, uu 55 ist ein erlauterndes Diagramm eines Anzeigedarstelllung gemaft einem anderen Ausfuhrungs- 
beispiel der Erfindung. 

[0097] Fig, 58 ist ein erlauterndes Diagramm eines Anzeigedarstelllung gemaft einem anderen Ausfiihrungs- 
beispiel der Erfindung. 

[0098] fig. 57 ist ein erlauterndes Diagramm eines Anzeigedarstelllung gemaft einem anderen Ausfuhrungs- 
beispiel der Erfindung. 

[0099] Fig, 58 ist ein erlauterndes Diagramm eines Anzeigedarstelllung gemaft einem anderen Ausfuhrungs- 
beispiel der Erfindung. 

[0100] JFIg, 59 ist ein erlauterndes Diagramm eines Anzeigedarstelllung gemaft einem anderen Ausfuhrungs- 
beispiel der Erfindung. 

[0101] Fig. 86 ist ein erlauterndes Diagramm zum Darstellen eines Verfahrens zum Bestimmen der Auswahl 
eines Objektes innerhalb einer Steuereinheit gemaft einem anderen Ausfuhrungsbeispiel der Erfindung. 

Beste Vorgehensweise zum Ausfuhren der Erfindung 

[0102] Bevor ein Ausfuhrungsbeispiel der Erfindung beschrieben wird, wird nun ein Konzept der Erfindung 
unter Bezugnahme auf Fia. lA erlautert. Es ist zu beachten, daft Fia. 1B eine Beziehung zwischen einem Auf- 
bauelement dieses Konzeptionsdiagramms und Konstruktionselementen eines ersten und eines zweiten Aus- 
fuhrungsbeispiels zeigt. 

[0103] Gemaft Fag. 1A speichert eine Objektinformationsspeichereinheit Information, die zu verschiedenen 
Arten von Geraten (Objekten) (Positionen von Geraten, Form information, Steuerinformation, Handhabungsin- 
formation, Designinformation usw.) innerhalb einer Anlage in Beziehung steht, die in einem Videobild darge- 
stellt werden, das von einer Videoausgabeeinheit ausgegeben wird (Video-Bildaufnahme/Aufzeichnungs/Wie- 
dergabe-Einheit). Es ist zu beachten, daft alle Anlagenteile und Gerate, die zu bedienen und zu uberwachen 
sind, nachfolgend als "Objekt" bezeichnet werden. Eine Videoausgabeeinheit gibt ein Bild (Videosignal) unter 
Aufnahme eines Bildes innerhalb einer Anlage aus, und sie gibtauch ein in derVergangenheitaufgezeichnetes 
Bild aus. Eine Graphikerzeugungseinheit gibt ein Systemdiagramm einer Anlage, Steuerungsinformation fur 
jedes Objekt, Handhabungsinformation, wie Graphiken usw., aus. Die von der Graphikerzeugungseinheit aus- 
gegebene Graphik wird mit einem Videoausgangssignal von der Videoausgabeeinheit durch eine Video/Gra- 
phik-Syntheseeinheit synthetisiert, und dann wird das synthetisierte Ausgangssignal auf einer Anzeigeeinheit 
dargestellt. Wenn eine Position einer Anzeigeeinheit durch eine Schirmpositionsspezifiziereinheit spezifiziert 
wird, identifiziert eine Objektidentifizier/Prozeftausfuhrungs-Einheit ein an der oben angegebenen spezifizier- 
ten Position auf der Anzeigeeinheit dargestelltes Objekt auf Grundlage sowohl der in der Objektinformations- 
speichereinheit abgespeicherten Information als auch der oben angegebenen spezifizierten Position. An- 
schlieftend fuhrt die Objektidentifizier/Prozeftausfuhrungs-Einheit einen dem oben erlauterten, identifizierten 
Objekt zugeordneten Prozeft aus. Z. B. wird ein dem oben beschriebenen, identifizierten Objekt zugeordnetes 
Bild auf der Anzeigeeinheit dadurch dargestellt, daft die Videoausgabeeinheit gesteuert wird, die Steuerungs- 
information betreffend das Objekt aus dem Objektinformationsspeicher abgerufen wird und die oben angege- 
bene, abgerufene Information graphisch auf der Anzeigeeinheit dadurch dargestellt wird, daft die Graphiker- 
zeugungseinheit gesteuert wird. 

[0104] D. h., daft die Objektinformationsspeichereinheit in Fig, 1A Information uber ein auf dem Schirm der 
Anzeigeeinheit darzustellendes Objekt speichert, und ein von einer strichpunktierten Linie umgebener Bereich 
fuhrt einen diesem Objekt zugeordneten Prozeft auf Grundlage der abgespeicherten Information aus (z. B. ei- 
nen Prozeft zum Identifizieren der Information in der Objektinformationsspeichereinheit, der derjenigen Infor- 
mation entspricht, wie sie von der Schirmpositionsanweisungseinheit spezifiziert wird, und einen Prozeft zum 
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Darstellen von Graphiken auf Grundlage dieser Information). 

[0105] Die mitdem Objekt in Beziehung stehende Information kennzeichnet beim ersten Ausfuhrungsbeispiel 
Graphikinformation, Positionsinformation und dergleichen, wie sie in Beziehung mit einem Objekt stent, und 
sie kennzeichnet beim zweiten Ausfuhrungsbeispiel auch Steuerungsdaten (Steuerungsdaten oder Steue- 
rungsinformation), die in Beziehung mit einem Objekt stehen, Ton- oder Videodaten in Beziehung mit einem 
Objekt und ferner Information, die die Steuerungsdaten und die Ton- oder Videodaten betreffen. 

[0106] Auch erstellt der mit einer strichpunktierten Linie in Fiici. 1A umgebene Bereich eine Beziehung zwi- 
schen den Steuerungsdaten und den Ton- oder Videodaten auf Grundlage der oben angegebenen Bezie- 
hungsinformation beim zweiten Ausfuhrungsbeispiel her. 

[0107] Unter Bezugnahme auf die Zeichnungen werden nun Ausfuhrungsbeispiele der Erfindung erlautert. 
Zunachst wird ein Anlagenbedienungs-Oberwachungssystem, das einem Ausfuhrungsbeispiel (erstes Ausfuh- 
rungsbeispiel) der Erfindung entspricht, unter Verwendung der EMhJL bis FJ<g^ u 28 beschrieben, bei welchem 
Ausfuhrungsbeispiel das Video- oder Informationsverarbeitungsverfahren und die Vorrichtung gemaft der Er- 
findung verwendet sind. 

[0108] Die Gesamtanordnung dieses Ausfuhrungsbeispiels wird unter Bezugnahme auf f\g^2 erlautert. In 
Faa. 2 bezeichnet ein Bezugszeichen 10 eine Anzeige, die als Anzeigeeinrichtung zum Anzeigen von Graphi- 
ken und Video dient. Ein Bezugszeichen 12 zeigt ein druckempfindliches Tastpaneel, das als Eingabeeinrich- 
tung dient und an einer Gesamtflache der Anzeige 10 angebracht ist; ein Bezugszeichen 14 kennzeichnet ei- 
nen Lautsprecher zum Ausgeben von Tonsignalen; ein Bezugszeichen 20 kennzeichnet einen Mensch/Ma- 
schine-Server, der von einer Bedienperson dazu verwendet wird, die Anlage zu uberwachen und zu bedienen; 
und ein Bezugszeichen 30 kennzeichnet einen Umschalter zum Auswahlen von Videoeingabe oder Toneinga- 
be von mehreren Videoeingaben und auch mehreren Toneingaben. In Ffg. 2 kennzeichnet ein Bezugszeichen 
50 einen Steuerungscomputer zum Steuern von Anlageteilen innerhalb der Anlage und zum Erfassen von Da- 
ten, wie sie von Sensoren gewonnen werden; ein Bezugszeichen 52 zeigt ein lokales Netzwerk mit Informati- 
onsleitung (dies wird im folgenden als "LAN" = Local Area Network bezeichnet), urn den Steuerungscomputer 
50, den Mensch/Maschine-Server 20 und andere Endstellen/Computer anzuschliefcen (z. B. ein LAN, wie es 
unter IEEE 802.3) definiert ist. Ein Bezugszeichen 54 kennzeichnet eine Steuerleitung LAN zum Anschliefcen 
des Steuerungscomputers 50, verschiedener Arten zu steuernder Anlagenteile und verschiedener Sensoren 
(z. B. einen LRN, wie durch IEEE 802.4 definiert); Bezugszeichen 60, 70 und 80 kennzeichnen industrielle Vi- 
deokameras (nachfolgend einfach als "ITV-Kameras" bezeichnet), die an verschiedenen Orten innerhalb der 
Anlage angebracht sind und ein zu steuerndes Objekt abbilden und Objektabbildungssignale eingeben; Be- 
zugszeichen 62, 72, 82 bezeichnen Controller zum Steuern von Richtungen und Linsen der jeweiligen Kame- 
ras 60, 70 und 80 auf eine Anweisung vom Steuerungscomputer 50 hin. Bezugszeichen 64, 74 und 84 kenn- 
zeichnen Mikrophone, die an den jeweiligen Kameras 60, 70, 80 angebracht sind; Bezugszeichen 90 und 92 
zeigen verschiedene Sensoren an, die dazu verwendet werden, verschiedene Zustande der Anlage zu erken- 
nen; und Bezugszeichen 84 und 96 kennzeichnen Stellgliederzum Steuern der verschiedenen Anlagenteile in 
der Anlage auf eine Anweisung vom Steuerungscomputer 50 hin. 

[0109] Das druckempfindliche Tastpaneel 12 ist eine Art PD. Wenn eine Bedienperson mit dem Finger auf 
eine willkurliche Position auf dem Tastpaneel 12 druckt, werden sowohl die Koordinaten der niedergedruckten 
Position als auch der Druck an den Mensch/Maschine-Server berichtet. Das Tastpaneel 12 ist an dergesamten 
Oberflache der Anzeige 10 vorhanden. Es ist lichtdurchlassig, und der Anzeigeinhalt der hinter dem Tastpaneel 
12 vorhandenen Anzeige 10 kann betrachtet werden. Infolgedessen kann eine Bedienperson ein auf der An- 
zeige 10 dargestelltes Objekt spezifizieren, indem er dieses mit dem Finger beruhrt. Bei diesem Ausfuhrungs- 
beispiel werden drei Arten von Bedienungen als solche des Tastpaneels 12 verwendet, namlich (1) leichter 
Druck, (2) starker Druck) und (3) Zug. Das Ausuben von Zug auf das Tastpaneel 12 bedeutet, daf2> der Finger 
bewegt wird, wahrend er auf das Tastpaneel 12 druckt. Obwohl bei diesem Ausfuhrungsbeispiel ein druckemp- 
findliches Tastpaneel als PD verwendet wird, konnen andere Vorrichtungen verwendet werden. Z. B. konnen 
ein nichtdruckempfindliches Tastpaneel, ein Tablett, eine Maus, ein Lichtgriffel, ein Augenbewegungsverfolger, 
eine Zeigeeingabeeinrichtung oder eine Tastatur verwendet werden. 

[0110] Mehrere von den Kameras 60, 70 und 80 aufgenommene Videobilder werden fur ein einziges Bild vom 
Umschalter 30 ausgewahlt, das dann uber den Mensch/Maschine-Server 20 auf der Anzeige 10 dargestellt 
wird. Der Mensch/Maschine-Server 20 steuert den Umschalter 30 uber einen Kommunikationsport, wie eine 
RS 232C-Schnittstelle, und er wan It ein Bild von der gewunschten Kamera aus. Bei diesem Ausfuhrungsbei- 
spiel wird beim Auswahlen eines Bildes zugleich eine Auswahl unter den von den Mikrophonen 64, 74 und 84 
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eingegebenen Tonsignalen getroffen. Anders gesagt, wird dann, wenn eine Karnera ausgewahlt wird, das mit 
dieser ausgewahlten Kamera verbundene Mikrophon betatigt. Der in das Mikrophon eingegebene Ton wird 
vom Lautsprecher 14 ausgegeben. Es ist auch moglich, die Eingabe vom Mikrophon und die Eingabe von der 
Kamera getrennt auszuwahlen. Der Mensch/Maschine-Server 20 kann die Graphiken mit dem von der Kamera 
aufgenommenen Bild synthetisieren. Auch ubertragt der Mensch/Maschine-Server 20 einen Bedienbefehl vom 
Steuerungscomputer uber das Informations-LAN 52, um die Bildrichtung, die Stellung, den Blickwinkel, die Po- 
sition einer Kamera anzugeben. Es ist zu beachten, daft kamerabezogene Parameter, wie die Abbildungsrich- 
tung, die Stellung, der Blickwinkel und die Position als Kameraparameter bezeichnet werden. 

[0111] Ferner gibt der Mensch/Maschine-Server die Daten von den Sensoren 90 und 92 uber den Steuerung- 
scomputer 50 abhangig von einem Befehl von einer Bedienperson ein, und er nimmt eine Fernsteuerung der 
Stellglieder 94 und 96 vor. 

[0112] Unter Bezugnahme auf Fig, 3 wird nun eine Anordnung des Mensch/Maschine-Servers beschrieben. 
In Files, 3 bezeichnet ein Bezugszeichen 300 eine CPU (zentrale Verarbeitungseinheit); ein Bezugszeichen 310 
bezeichnet einen Hauptspeicher; ein Bezugszeichen 320 bezeichnet eine Platte; ein Bezugszeichen 330 be- 
zeichnet eine Eingabe/Ausgabe-Vorrichtung (I/O) zum Anschlieften der PD, des Tastpaneels 12 und des Um- 
schalters 30; ein Bezugszeichen 340 bezeichnet einen G rap hikrah men puffer zum Speichern von von der CPU 
300 erstellter Anzeigedaten; ein Bezugszeichen 360 kennzeichnet einen A/D-Wandler zum Digitalisieren an- 
gegebener, analoger Videoinformation. Ferner kennzeichnet ein Bezugszeichen 370 einen Videorahmenpuffer 
zum Einspeichern der digitalen Videoinformation, wie sie dem Ausgabesignal des A/D-Wandlers 360 ent- 
spricht; ein Bezugszeichen 380 kennzeichnet eine Mischschaltung zum Mischen des Inhalts des Graphikrah- 
menpuffers 340 und des Inhalts des Videorahmenpuffers 370 und zum Darstellen des Mischinhalts auf der An- 
zeige 10. 

[0113] Nachdem die von der Kamera eingegebene Videoinformation mit der vom Mensch/Maschine-Server 
20 erstellten Graphik synthetisiert wurde, wird die sich ergebende Videoinformation auf der Anzeige 10 darge- 
stellt. Im Graphikrahmenpuffer 34 sind Farbdaten fur Rot (R), Grun (G) und Blau (B) und Daten fur einen Wert 
a gespeichert, der den jeweiligen Pixeln des Displays 1 0 entspricht. Der Wert a zeigt an, wie die im Videorah- 
menpuffer 370 abgespeicherte Videoinformation mit den im Graphikrahmenpuffer 340 abgespeicherten Gra- 
phikanzeigedaten fur jedes jeweilige Pixel der Anzeige 10 zu synthetisieren ist. Die Funktion der Mischschal- 
tung 340 wird wie folgt wiedergeben: 

d =f (g, v, a), 

wobei Symbole "g" und "a" Farbinformation bzw. den Wert a fur ein im Graphikrahmenpuffer 340 abgespei- 
chertes Pixel anzeigen, das Symbol "v" Farbinformation fur ein Pixel anzeigt, das an einer Position liegt, die 
der im Videorahmenpuffer 370 abgespeicherten Farbinformation "g" entspricht, und das Symbol "d" Farbinfor- 
mation eines Pixels der synthetisierten Farbinformation "g" und "v" ist. In diesem System wird die folgende Glei- 
chung als Funktion T verwendet: 

f(9, v, a) = [{g + (255 - a)V}/255], 

wobei die Symbole f, g, v, a ganze Zahlen sind und 0 ^ f, g, v, a <> 255 gilt. Ein Leersymbol [ ] kennzeichnet ein 
Symbol zum Zahlen von Bruchteilen uber 1/2 als Eins und zum Verwerfen des Restes hinsichtlich einer Zahl, 
die kleiner ist als der Dezimalpunkt. Es ist auch moglich, andere Werte fur die Funktion T zu verwenden. 

[0114] Der Graphikrahmenpuffer 340 ist als sogenannter "Doppelpuffer" ausgebildet. Ein Doppelpuffer weist 
Puffer auf, die dazu dienen, zwei Schirmbilddaten zu speichern, und der auf der Anzeige 10 dargestellte Puffer 
wird willkurlich ausgewahlt. Ein Puffer, dessen Inhaltgerade auf der Anzeige 10 dargestellt wird, wird als Front- 
puffer bezeichnet, wahrend der andere Puffer, dessen Inhalt gerade nicht auf der Anzeige dargestellt wird, als 
Ruckpuffer bezeichnet wird. Der Frontpuffer und der Ruckpuffer konnen augenblicklich gewechselt werden. 
Wenn Graphikdarstellung ausgefuhrt wird, ist die Graphik im Frontpuffer vorhanden, und der Ruckpuffer wird 
in den Frontpuffer umgewechselt, um Schwankungen zu verringern, die bei der Graphikdarstellung auftreten. 
Der Inhalt eines beliebigen der Puffer kann durch die CPU willkurlich ausgelesen und geschrieben werden. 

[0115] Wie oben beschrieben, wird, nachdem die Videoinformation innerhalb des Mensch/Maschine-Servers 
20 digitalisiert wurde, diese digitalisierte Videoinformation bei diesem Ausfuhrungsbeispiel mit der Graphik 
synthetisiert. Alternativ wird eine externe Vorrichtung zum Synthetisieren der Videoinformation und der Graphik 
auf dem Niveau des Analogsignals verwendet, und das vom Mensch/Maschine-Server 20 ausgegebene Vide- 
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osignal wird mit dern von der Kamera 60 erzeugten Fernsehsignal synthetisiert, und das synthetisierte Signal 
kann auf der Anzeige 10 dargestellt werden. Eine Computersynthesevorrichtung, wie der Mensch/Maschi- 
ne-Server 20 (inn folgenden als Videosynthesevorrichtung bezeichnet), fur das von der Kamera 60 gewonnene 
Fernsehsignal ist im Handel erhaltlich. 

[0116] Obwohl die Graphik und die Videoinformation bei diesem Ausfuhrungsbeispiel auf derselben Anzeige 
(Anzeige 10) dargestellt werden, konnen die Graphik und die Videoinformation auf getrennten Anzeigeeinhei- 
ten dargestellt werden. Z. B. ist ein Graphikterminal mit dem Mensch/Maschine-Server 20 uberdas Informati- 
onsleitungs-LAN 52 verbunden, und die von der Kamera erzeugte Videoinformation wird auf einem ganzen 
Schirm unter Verwendung der oben angegebenen Videosynthesevorrichtung dargestellt. Die vom Mensch/Ma- 
schine-Server 20 erzeugte Graphik wird hauptsachlich auf der Anzeige 10 dargestellt. Am Graphikterminal ist 
eine Zeigevorrichtung, wie ein Tastpaneel oder eine Maus, ahnlich dem druckempfindlichen Tastpaneel 12, an- 
gebracht. Abhangig von einem vorgegebenen Protokoll, gibt der Mensch/Maschine-Server 20 die Graphikin- 
formation an das Graphikterminal aus, so daft die Graphik der Videoinformation uberlagert werden kann und 
mit dieser auf dem Graphikterminal dargestellt werden kann. Wie oben beschrieben, kann, da die Videoinfor- 
mation auf dem getrennt von der Anzeige 10 vorliegenden Graphikterminal dargestellt wird, viel Graphikinfor- 
mation auf dem Display 10 dargestellt werden. 

[0117] In Fbq. 4 ist ein Beispiel einer Anzeigeschirmanordnung der Anzeige 10 dargestellt. In Fig. 4 bezeich- 
net ein Bezugszeichen 100 einen Anzeigeschirm der Anzeige 10; ein Bezugszeichen 110 bezeichnet einen 
Menubereich zum Spezifizieren eines auf ein Gesamtsystem bezogenen Befehls; ein Bezugszeichen 150 be- 
zeichnet einen Datenanzeigebereich zum Anzeigen der Daten von den Sensoren, von verschiedenen Doku- 
menten sowie von die Anlage betreffenden Daten; ein Bezugszeichen 130 kennzeichnet einen Zeichnungsan- 
zeigebereich zum Darstellen von Aufbauanordnungen und Strukturzeichnungen der Gesamtanlage und der je- 
weiligen Abschnitte der Anlage; und ein Bezugszeichen 200 bezeichnet einen Videoanzeigebereich zum An- 
zeigen der Videoinformation oder des von der Kamera eingegebenen Bildes. 

[0118] Fjg^zeigtein Beispiel von Anzeigebetriebsarten des Zeichnungsanzeigebereichs 130. In £lg^5 be- 
zeichnet ein Bezugszeichen 132 ein Menu zum Ausgeben eines Befehls, wie er dazu verwendet wird, einen 
Ort klarzustellen, an dem ein Sensor installiert ist, und ein Bezugszeichen 134 bezeichnet ein Objekt, das in 
einer von einer Bedienperson spezifizierten Zeichnung dargestellt ist. Wenn das Objekt innerhalb der darge- 
stellten Zeichnung im Zeichnungsanzeigebereich 130 von der Bedienperson ausgewahlt wird, wird die Infor- 
mation zu diesem ausgewahlten Objekt, wie sie vom Sensor erfaftt wird, entweder im Datenanzeigebereich 
150 oder im Videoanzeigebereich 200 dargestellt. Wenn z. B. eine Kamera als dem spezifizierten Objekt zu- 
geordneter Sensor definiert wird, wird ein von dieser Kamera eingegebenes Bild im Videoanzeigebereich 200 
dargestellt. Auch wenn z. B. ein Oldrucksensor als zum spezifizierten Objekt gehoriger Sensor definiert ist, wird 
entweder eine Graphik zum deutlichen Darstellen des aktuellen Oldruckwerts oder eine Schwankungen in den 
bis jetzt gemessenen Oldruckwerten anzeigende Trendkurve im Datenanzeigebereich 150 dargestellt. Wenn 
eine Position auf dem Tastpaneel 12 mit einem Finger stark niedergedruckt wird, wird ein in der Zeichnung dar- 
gestelltes Objekt, das an der niedergedruckten Stelle vorhanden ist, spezifiziert. Wenn keine Definition fur den 
mit dem spezifizierten Objekt in Beziehung stehenden Sensor vorliegt, geschieht nichts. In FkLJk ist der Fall 
dargestellt, daft die Anzeigeposition des Objektes 134 mit einem Finger stark niedergedruckt wird. Wenn der 
Finger auf das Objekt druckt, wird die Darstellung hervorgehoben, damit die Spezifizierung des Objektes von 
der Bedienperson erkannt werden kann. Bei dem in Fig- 5 dargestellten Beispiel wurden sowohl die Kamera 
60 zum Abbilden des Objektes 134 als auch das Mikrophon 64 zum Eingeben von Tonen um das Objekt 134 
herum als relevante Sensoren fur das Objekt 134 definiert. Nach Spezifizierung des Objektes 134 wird ein Bild 
des Objektes 134 auf dem Videoanzeigebereich 200 dargestellt, und die Tone um das Objekt 134 herum wer- 
den vom Lautsprecher 34 wiedergegeben. 

[0119] In Fecl 8 ist eine Darstellungsbetriebsart des Videoanzeigebereichs 200 fur den Fall dargestellt, daft 
das Objekt 134 auf dem Zeichnungsanzeigebereich 130 spezifiziert wurde, und es ist auch die Beziehung zwi- 
schen dieser Anzeigebetriebsart und dem in der Anlage positionierten Objekt 134 dargestellt. In Fag. 6 be- 
zeichnen Bezugszeichen 202 bis 210 Einrichtungen zum Einstellen eines Kameraparameters einer photogra- 
phierenden Kamera oder einer solchen, die das gerade dargestellte Bild aufnimmt; ein Bezugszeichen 220 be- 
zeichnet ein Menu zum deutlichen Anzeigen eines geeigneten Objektes im Bild. Ein Bezugszeichen 202 ist ein 
Menu zum Einstellen der Richtung einer Kamera. Wenn das Menu 202 ausgewahlt wird, kann die Kamera nach 
rechts und links verschwenkt werden, und sie kann nach oben und unten verschwenkt werden. Ein Bezugs- 
zeichen 204 zeigt ein Menu zum Steuern des Blickwinkels einer Kamera, um einen Aufzoomvorgang bei einem 
Bild vorzunehmen. Ein Bezugszeichen 206 bezeichnet ein Menu zum Steuern des Gesichtswinkels der Kame- 
ra, um einen Abzoomvorgang des Bildes vorzunehmen. Ein Bezugszeichen 208 kennzeichnet ein Menu zum 
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Korrigieren des aktuellen Kamerapararneters, um ihn durch denjenigen Karri era para meter zu ersetzen, der im 
Schritt zuvor eingestellt wurde. Ein Bezugszeichen 210 bezeichnet ein Menu zum Korrigieren des aktuellen 
Kamerapararneters, um ihn durch den ersten Kameraparameter zu ersetzen. 

[0120] Bezugszeichen 400 bis 424 bezeichnen verschiedene Arten von Objekten, die zum Objekt 134 geho- 
ren oder die um dieses Objekt herum angeordnet sind. Ein Bezugszeichen 400 bezeichnet ein Ventil; Bezugs- 
zeichen 400 und 420 zeigen eine auf das Objekt 134 geschriebene Zeichenreprasentation; ein Bezugszeichen 
412 ist ein Spannungsmesser; ein Bezugszeichen 414 bezeichnet einen Knopf zum Einschalten einer Span- 
nungsquelle; ein Bezugszeichen 416 bezeichnet einen Knopf zum Ausschalten der Spannungsquelle; ein Be- 
zugszeichen 422 kennzeichnet einen Oldruckmesser; und ein Bezugszeichen 424 kennzeichnet einen Knopf 
eines Schiebestellers zum Steuern des Oldrucks. Das Ventil 400, die Knopfe 414, 416 und 424 entsprechen 
tatsachlichen, handbedienbaren Steuervorrichtungen, wie auch solchen Steuervorrichtungen, die auf die Be- 
dienbefehlausgabe vom Mensch/Maschine-Server 20 hin ferngesteuert werden. 

[0121] Wenn eine Bedienperson eine Position innerhalb des Videoanzeigebereichs 200 mit einem Finger be- 
ruhrt, wird die Kamera in solcher Weise eingestellt, daft das an der Position, auf die der Finger druckte, darge- 
stellte Objekt leicht beobachtet werden kann. In den Fig, 7A und Rg. u u 7 B sind Zustande dargestellt, gemaft 
denen ein Kameraparameter auf solche Weise eingestellt wird, daft dann, wenn mit dem Finger leicht auf das 
Meftgerat 412 im Videoanzeigebereich 200 gedruckt wird, das Meftgerat 412 genau in der Mitte des Bildes dar- 
gestellt wird. Wenn das Meftgerat 412 von der Bedienperson spezifiziert wird, wie dies in Fig. 2A dargestellt 
ist, wird die Richtung der Kamera 60 in solcher Weise eingestellt, daft das Meftgerat 412 in der Mitte des Bildes 
dargestellt wird, und ferner wird die Linse der Kamera 60 auf solche Weise eingestellt, daft das Meftgerat 412 
aufgezoomt wird, und dann wird das Bild in dasjenige von Fig, 7B umgewechselt. Nur dadurch, daft die Bedi- 
enperson das Objekt auf dem Schirm antastet, kann der Kameraparameter in solcher Weise eingestellt wer- 
den, daft dieses Objekt deutlich betrachtet werden kann, und die Bedienperson wird nicht mit der Fernsteue- 
rung der Kamera belastigt. In Fig, 7A bezeichnet ein Bezugszeichen 502 ein Graphikecho zum deutlichen An- 
zeigen, daft das Meftgerat 412 spezifiziert wurde. Das Graphikecho 502 wird geloscht, wenn die Bedienperson 
den Fingerdruck lockert oder den Finger vom Tastpaneel 12 wegnimmt. Wie oben beschrieben, kann die 
Mensch/Maschine-Schnittstelle dadurch verbessert werden, daft die graphische Darstellung mit dem Bild der 
Kamera synthetisiert wird. 

[0122] Die Fag. 8A und Fag. SB reprasentieren einen Zustand, gemaft dem ein Ventil 400 innerhalb des Vide- 
oanzeigebereichs 200 leicht mit einem Finger beruhrt wird, wodurch die Kamera in solcher Weise eingestellt 
wird, daft das Ventil 400 in der Mitte des Bildes lokalisiert ist. Wenn das Ventil 400 durch die Bedienperson 
spezifiziert ist, wie dies in Rg a J£A dargestellt ist, wird das Bild auf solche Weise geandert, daft die Mitte des 
Bildes so ist, wie dies in Fig, 8B dargestellt ist. In Fig. BA bezeichnet ein Bezugszeichen 504 ein Graphikecho 
zum deutlichen Anzeigen, daft das Ventil 400 spezifiziert ist. Das Graphikecho 504 wird geloscht, wenn die 
Bedienperson ihren Finger vom Tastpaneel 12 wegnimmt. Auch hinsichtlich anderer Objekte 410, 414, 416, 
420, 424 und 424 konnen ahnliche Ablaufe ausgefuhrt werden. 

[0123] Wenn eine Position innerhalb des Videoanzeigebereichs 200 von einer Bedienperson stark niederge- 
druckt wird, kann ein an der Position des Fingers dargestelltes Objekt bedient werden. In den Fig, 8 bis 11 sind 
Beispiele dargestellt, in denen Objekte betatigt werden. 

[0124] Fig, 9 stellt ein Beispiel dar, bei dem ein Knopf 414 betatigt wird. Wenn die Position im Videoanzeige- 
bereich 200, in dem der Knopf 414 dargestellt ist, stark mit einem Finger niedergedruckt wird, wird eine Be- 
triebsanweisung betreffend das Niederdrucken des Knopfes 414 vom Mensch/Maschine-Server 200 uber den 
Steuerungscomputer 50 an das Stellglied ubertragen, um den fernab angeordneten Knopf 414 zu betatigen, 
und dann wird der im entfernten Feld vorhandene Knopf 414 tatsachlich gedruckt. Die Situation, daft der Knopf 
414 gedruckt wurde und daft als Ergebnis der Zeiger eines Meftgerats 414 ausschlug, wird im Videoanzeige- 
bereich 200 durch die Kamera 60 dargestellt. Infolgedessen kann die Bedienperson am Videoschirm das Ge- 
fuhl erhalten, als wurde sie den Knopf tatsachlich niederdrucken. 

[0125] Flea. 10 reprasentiert ein Beispiel, gemaft dem der Knopf 422 eines Schiebeeinstellers durch Ziehen 
des Fingers uber das Tastpaneel 12 gehandhabt wird. Wenn der Finger entlang der horizontalen Richtung be- 
wegt wird, wahrend er stark auf die Position druckt, an der der Knopf 414 auf dem Videoanzeigebereich 200 
dargestellt ist, wird der auf dem Bild dargestellte Knopf 424 zusammen mit der Bewegung des Fingers bewegt. 
Infolge der Bewegung des Knopfes 424 schlagt der Zeiger des Meftgerats 422 aus. Hierbei sendet der 
Mensch/Maschine-Server 20 einen Befehl uber den Steuerungscomputer 50 an das Stellglied, um den Knopf 
424 jedesmal dann einzustellen, wenn der Finger bewegt wird, so daft der Knopf 424 tatsachlich zusammen 
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mit der Bewegung des Fingers verstellt wird. Infolgedessen kann die Bedienperson das Gefuhl erhalten, als 
wurde sie den Knopf 424 tatsachlich mit dem Finger verstellen. 

[0126] Wie dies in den Ffa, 9 und Fia. 10 daraestellt ist, sind Vorteiledahingehend, daft die im Bild dargestell- 
ten Bedieneinrichtungen 414 und 412 tatsachlich auf dem Bild bewegt werden, die folgenden: 

(1 ) Die Bedienperson hat das Gefuhl, daft sie vor Ort steht, wahrend sie sich doch im Betriebsraum aufhalt. 
Ein Bild kann direkt eine Anordnung zur Ausgestaltung (Form, Farbe usw.) der Vorrichtung ubertragen. In- 
folgedessen werden Vorerwartung, Lernen und Vorstellung leicht hinsichtlich der Funktionen der jeweiligen 
Anlagenteile und der Ergebnisse der Betatigung derselben erzielt. Wenn z. B. der Knopf 414 von Fag.. 9 nie- 
dergedruckt wird, kann leicht erwartet werden, daft die Spannungsquelle des Anlagenteils 134 eingeschal- 
tet wird. 

(2) Die Bedienperson kann etwas vor Ort Auftretendes als Ergebnis der von ihr ausgelosten Betatigung be- 
obachten. Wenn z. B. der Knopf 41 4 niedergedruckt wird und Rauch am Anlagenteil 1 34 auftritt, kann eine 
Bedienperson diesen Rauch unmittelbar erkennen und kann so die Fehlbedienung bemerken. 

[0127] Bei der herkommlichen graphischen Mensch/Maschine-Schnittstelle werden Steuereinrichtungen gra- 
phisch reprasentiert. Wenn die graphische Representation ausgefuhrt wird, wird es, da Abstrahierung, Verein- 
fachung und Ubertreibungen vorgenornmen werden, schwierig, eine Beziehung zwischen den tatsachlichen 
Vorrichtungen und den graphischen Reprasentierungen aufzustellen. Da die Grofte des Anzeigeschirms auf 
einen beistimmten Wert beschrankt ist, sind die Graphiken irrelevant in bezug auf die tatsachlichen Anordnun- 
gen der Vorrichtungen angeordnet. Infolgedessen kann eine Bedienperson kaum mit der Intuition erkennen, 
wie die Vorrichtungen vor Ort zu steuern sind, wenn sie die graphische Bedieneinrichtung bestatigt. Da das 
Bedienergebnis graphisch dargestellt wird, ist es schwierig, einen auftergewohnlichen Fall intuitiv zu erfassen. 

[0128] FigLJIA veranschaulicht ein Beispiel, bei dem ein Objekt dadurch betatigt wird, daft eine Graphik be- 
tatigt wird, die auf dem oder nahe dem zu betatigenden Objekt in synthetisierter Form dargestellt ist. In 
Fig. 11 1 A bezeichnen Bezugszeichen 510 und 520 Graphiken, die in synthetisierter Form auf einem Bild dar- 
gestellt werden, wenn die Anzeigeposition eines Ventils 400 stark durch einen Finger einer Bedienperson nie- 
dergedruckt wird. Wenn die Bedienperson stark mit einem Finger auf ein Muster 510 druckt, sendet der 
Mensch/Maschine-Server 20 uber den Steuerungscomputer 50 eine Bedienanweisung an das Stellglied, urn 
das Ventil 400 nach links zu drehen. Wenn dagegen die Graphik 512 mit dem Finger stark niedergedruckt wird, 
ubertragt der Mensch/Maschine-Server einen Bedienungsbefehl an das Stellglied, urn das Ventil 400 nach 
rechts zu drehen. Der Verd re hzu stand des Ventils 400 wird durch die Kamera 60 aufgenommen, urn im Vide- 
oanzeigebereich 200 dargestellt zu werden. Zusammen mit der Verdrehung des Ventils 400 konnen Darstel- 
lungen der Graphiken 510 und 512 verdreht werden. Die auf dem Schirm zur Manipulation dargestellte Gra- 
phik, wie sie durch die Muster 510 und 512 wiedergegeben wird, wird nun jeweils als "graphische Steuerein- 
richtung" bezeichnet. 

[0129] Ein anderes Beispiel fur eine graphische Steuereinrichtung ist in Fm. 11B dargestellt. In Fag. 11B be- 
zeichnet ein Bezugszeichen 426 ein Rohr, das mit einem unteren Bereich des Objektes 134 verbunden ist; ein 
Bezugszeichen 800 bezeichnet einen Schiebeeinsteller, der im Bild in synthetisierter Form als Graphik darge- 
stellt wird. Ein Bezugszeichen 810 bezeichnet einen Knopf des Schiebeeinstellers 800; und ein Bezugszeichen 
428 bezeichnet eine Anderung der Strdmungsgeschwindigkeit innerhalb des Rohrs 426, die am Rohr 426 in 
synthetisierter Form als Graphik dargestellt wird. Wenn das Rohr 426 im Videoanzeigebereich 200 durch die 
Bedienperson stark niedergedruckt wird, wird der Schiebeeinsteller 800 nahe dem Rohr 426 in synthetisierter 
Form dargestellt. Ferner wird eine Graphik 428, die die aktuelle Flieftgeschwindigkeit im Rohr 426 anzeigt, am 
Rohr 426 in synthetisierter Form dargestellt. Die Graphik 428 andert sich z. B. nach Breite und Farbe, abhangig 
von der Flieftgeschwindigkeit innerhalb des Rohrs 426. Wenn die Flieftgeschwindigkeit groft wird, wird die 
Breite der Graphik breit, wohingegen sie dann, wenn die Flieftgeschwindigkeit niedrig wird, eng wird. Wenn der 
Knopf 810 des Schiebeeinstellers durch den Finger der Bedienperson verschoben wird, wird eine Anweisung 
zum Steuern der Flieftgeschwindigkeit innerhalb des Rohrs 426 auf die Bewegung des Knopfes 810 hin vom 
Mensch/Maschine-Server 20 an den Steuerungscomputer 50 ubertragen. Ferner wird ein Bedienbefehl vom 
Computer an das Stellglied, z. B. eine Pumpe, ausgegeben, und die Pumpe wird eingestellt. Infolgedessen 
wird die Flieftgeschwindigkeit abhangig vom eingestellten Zustand der Graphik 428 auf die Anderung hin ver- 
andert. 

[0130] Wie in den Fag, 11A und Hfl^llJES dargestellt, sind Vorteile dahingehend, daft die graphische Steuer- 
einrichtung in synthetischer Form auf oder nahe dem des im Monitorbild dargestellten Anlageteils angezeigt 
wird, die folgenden: 

(1) Durch die graphische Steuerungseinrichtung wird der Bedienperson ein Hinweis darauf gegeben, wel- 
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cher aktuell gesteuerte Anlagenteil welcher Einrichtung in einem Feld entspricht. Beirn Beispiel von 
Fig. 11A kann die Bedienperson einfach und leicht vorhersehen und sich auch daran erinnern, daft die gra- 
phischen Steuereinrichtungen 510 und 512 das in synthetisierter Form dargestellte Ventil steuern. Im Bei- 
spiel von Fia. 11 B ist es einfach erfaftbar, daft der Schiebeeinsteller 800 die Flieftgeschwindigkeit innerhalb 
des Rohrs 426 einstellt, das nahe bei diesem Schiebeeinsteller 800 abgebildet ist. 

(2) Eine Bedienung kann ausgefuhrt werden, wahrend derZustand eines zu steuernden Anlagenteils beo- 
bachtet wird. Wenn beim Beispiel von Fag, 11B wahrend der Bedienung der graphischen Steuereinrichtung 
800 ein Rift im Rohr 426 auftritt und Flussigkeit ausleckt, kann dies eine Bedienperson optisch erkennen, 
und sie kann unmittelbar wahrnehmen, daft fehlerhafte Betatigung und ein auftergewohnlicher Fall vorlie- 
gen. 

[0131] Bei der herkomrnlichen, graphischen Mensch/Maschine-Schnittstelle ist es, da die graphische Steuer- 
einrichtung auf dem Schirm unabhangig vom Anlagenteil vor Ort dargestellt ist, schwierig, zu erkennen, wel- 
cher Anlagenteil an einem aktuellen Ort durch die graphische Steuereinrichtung gesteuert wird. Da der Platz, 
an dem die graphische Steuereinrichtung dargestellt wird, vom Platz entfernt ist, an dem das Monitorbild fur 
den Ort dargestellt wird, muft eine Bedienperson den Blick mehrfach wechseln, um die Bedienungen auszu- 
fuhren, wahrend sie die Situationen vor Ort beobachtet. 

[0132] In Fbq. 11B ist dargestellt, daft die Flieftgeschwindigkeit im Rohr 426 dadurch angezeigt wird, daft die 
Graphik 428 auf dem Bild des Rohrs 426 in synthetisierter Form angezeigt wird. Wie oben beschrieben, wird 
die Graphik synthetisch auf dem Anlagenteil dargestellt, so daft Information, wie solche zum inneren Zustand 
des Anlagenteils, was im Bild nicht unmittelbar dargestellt wird, hinzugefugt werden kann. Infolgedessen kon- 
nen z. B. sowohl die innere Situation des Anlagenteils als auch seine auftere Situation gleichzeitig erkannt wer- 
den, wodurch der Gesamtzustand des Anlagenteils umfassend uberwacht und beurteilt werden kann. 

[0133] Fles- 12 veranschaulicht ein Verfahren zum deutlichen Anzeigen eines betreibbaren Objekts. Da nicht 
immer alle in einem Bild dargestellten Objekte bedienbar sind, ist ein Mittel zum deutlichen Kennzeichnen be- 
dienbarer Objekte erforderlich. Wenn in Fsa. 12 ein Menu 220 durch einen Finger leicht oder stark beruhrt wird, 
werden Graphiken 514 bis 524 dargestellt. Die Graphiken 514 bis 524 zeigen klar an, daft die Objekte 400, 
412, 414, 416, 422 und 424 jeweils bedienbar sind. Beim vorliegenden Ausfuhrungsbeispiel wird ein erweiter- 
tes Rechteck zu einem Objekt dargestellt. Selbstverstandlich ist es moglich, andere, verschiedene Anzeige- 
verfahren auszudenken, um deutlich Objekte anzuzeigen, wie graphische Reprasentationen eines tatsachli- 
chen Objekts. 

[01 34] Ferner kann eine Einrichtung zum deutlichen Anzeigen nicht nur solcher bedienbarer Objekte, sondern 
beliebiger Objekte verwendet werden. Wenn z. B. das Menu 220 mit dem Finger stark niedergedruckt wird, 
konnen alle im Bild dargestellten Objekte klar angezeigt werden. Die oben angegebene Einrichtung zum deut- 
lichen Anzeigen von Objekten kann bedienbare Objekte deutlich anzeigen, jedoch kann sie auch den Betrieb 
und den Grund einer Storung selbst dann anzeigen, wenn z. B. das Gesichtsfeld storende Substanz, wie 
Rauch oder Dampf, auftritt. Selbst wenn das zu betatigende Objekt vom Rauch umhullt wird, kann ein Betrieb 
vorgenommen werden, da das zu bedienende Objekt deutlich auf der Graphik angezeigt wird. Da auch erkannt 
werden kann, wo ein Anlagenteil vorhanden ist und welcher es ist, kann der Platz herausgefunden werden, an 
dem der Rauch entwickelt wird. 

[0135] In Fag. 13 ist ein Beispiel dargestellt, bei dem Text eingegeben wird und eine Suche in einem Bild vor- 
genommen wird, in dem dieser Text dargestellt ist. In Fig. 13 bezeichnet ein Bezugszeichen 530 eine Graphik, 
die auf einem Bild in synthetisierter Form dargestellt wird; ein Bezugszeichen 600 bezeichnet ein Suchblatt 
zum Ausfuhren von Textsuche; ein Bezugszeichen 610 bezeichnet das nachste Menu zum Suchen eines an- 
deren an den Suchschlussel anpaftbaren Bildes; ein Bezugszeichen 620 ist ein Beendigungsmenu zum Be- 
zeichnen des Endes einer Suche; und ein Bezugszeichen 630 bezeichnet einen Texteingabebereich zum Ein- 
geben des Suchschlussels. Wenn eine Auswahl zum Kennzeichnen einer Suche im Menubereich 110 vorge- 
nommen wird, wird das Suchblatt 600 auf dem Anzeigeschirm 100 dargestellt. Wenn ein ein dem Suchschlus- 
sel entsprechender Text uber die Tastatur in den Texteingabebereich 630 eingegeben wird und die Eingabe- 
taste betatigt wird, wird die Suche begonnen. Der Mensch/Maschine-Server sucht nach einer Kamera, die dazu 
in der Lage ist, einen Gegenstand zu photographieren, der den Suchschlussel enthalt, erstelltdie nachgesuch- 
te Kamera auf eine solche Kameraeinstellung ein, daft der Suchschlussel klar erkannt werden kann, und er 
stellt das von der nachgesuchten Kamera erfaftte Bild auf dem Videoanzeigebereich 200 dar. Die Graphik 530 
wird in synthetisierter Form auf dem Bereich dargestellt, der innerhalb des Bildes an den Suchschlussel ange- 
paftt ist, und der an den Suchschlussel angepaftte Bereich innerhalb des Bildes wird deutlich angezeigt. Das 
zu uberwachende Objekt kann von der Bedienperson sprachlich beschriftet werden, wenn eine Bildsuche mit 
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Text als Suchschlussel ausgefuhrt wird. Gemaft diesem Verfahren kann das zu uberwachende Objekt schnell 
dadurch herausgefunden werden, ohnedaft die Kameras geandert werden und ohne daft die Kameras in Fern- 
steuerungsweise gesteuert werden. Bei diesem Ausfuhrungsbeispiel wird eine Tastatur zum Eingeben von 
Text verwendet. Alternativ konnen andere Eingabeeinrichtung, wie ein Spracherkennungsgerat und ein Hand- 
schrifterkennungsgerat, verwendet werden. Obwohl bei diesem Ausfuhrungsbeispiel Text als Suchschlussel 
verwendet wird, kann auch ein Muster als Suchschlussel verwendet werden, und es kann nach einem Bild ge- 
sucht werden, dessen Muster zum Muster des Suchschlussels paftt. 

[0136] Ein Verfahren zum Realisieren dieses Ausfuhrungsbeispiels wird nun unter Bezugnahme auf die 
Fbcl 14 bis Fsa. 25 erlautert. Eine Hauptfunktion dieses Ausfuhrungsbeispiels ist eine solche, daft ein Objekt 
innerhalb eines Bildes spezifiziert wird und eine Bedienung fur dieses Objekt ausgefuhrt wird. Ein Fluftdia- 
gramm eines Programms zum Realisieren dieser Funktion ist in Fig, 18 dargestellt. Wenn das Tastpaneel 12 
am Videoanzeigebereich 200 niedergedruckt wird, wird ein an dieser Niederdruckstelle dargestelltes Objekt 
(eine Position auf einem Schirm, wie sie von einer Bedienperson unter Verwendung einer PD, wie eines Tast- 
paneels, spezifiziert wird, wird als "Ereignisposition" bezeichnet) identifiziert (Schritt 1000). Wenn das Objekt 
identifiziert werden kann (falls das Objekt an der Ereignisposition vorhanden ist) (Schritt 1010), wird eine fur 
dieses Objekt definierte Bedienung ausgefuhrt (Schritt 1020). 

[0137] Das an der Ereignisposition dargestellte Objekt wird unter Bezugnahme auf ein Modell eines zu pho- 
tographierenden Objekts und eines Kameraparameters identifiziert. Das Modell eines zu photographierenden 
Objekts entspricht der Form des zu photographierenden Objekts und Daten zu dessen Position. Das Modell 
eines zu photographierenden Objekts wird auf einer Platte 320 des Mensch/Maschine-Servers 20 gespeichert 
und in den Hauptspeicher 310 eingelesen, wenn das Anlagenbedienungs-Uberwachungssystem betatigt wird. 
Der Kameraparameter legt fest, wie ein zu photographierendes Objekt von einer Kamera zu photographieren 
ist, insbesondere sind es Daten uberdie Position einer Kamera, die Stellung, den Blickwinkel und die Kame- 
rarichtung. Der Wert eines Kameraparameters, der zu einer Kamera gesendet wurde, kann erkannt werden, 
wenn bei einem Kameracontroller nachgefragt wird. Selbstverstandlich kann der Kameraparameter durch den 
Mensch/Maschine-Server 20 uberwacht werden. Anders gesagt, wird ein Bereich zum Abspeichern des aktu- 
ellen Wertes des Kameraparameters im Hauptspeicher 31 0 des Mensch/Maschine-Servers 20 umgekehrt, und 
Werte des Kameraparameters, wie sie im Hauptspeicher 310 abgelegt sind, werden jedesmal dann aktuali- 
siert, wenn die Kamera vom Mensch/Maschine-Server 20 ferngesteuert wird. Die Parameter aller Kameras 
werden durch den Mensch/Maschine-Server 20 initialisiert, wenn das Anlagenbedienungs-Oberwachungssys- 
tem bedient wird. 

[01 38] Verschiedene Verfahren zur Modellbildung fur ein zu photographierendes Objekt konnen erdacht wer- 
den. Bei diesem Ausfuhrungsbeispiel werden (1) ein dreidimensionales Modell und (2) zweidimensionale Mo- 
delle kombiniert. Die Zusammenfassung der oben beschriebenen zwei Modelle sowie Verdienste und Mangel 
derselben werden nun erlautert. 

(1) Dreidimensionales Modell 

[0139] Dies ist ein Modell, bei dem die Form und die Position eines zu photographierenden Objektes durch 
ein dreidimensionales Koord in ate n system festgelegt werden. Ein Verdienst dieses Modells ist es, daft ein Ob- 
jekt fur einen willkurlichen Kameraparameter identifiziert werden kann. Anders gesagt, kann ein Objekt bedient 
werden, wahrend eine Kamera frei bedient wird. Ein Nachteil ist es, daft, da das Modell im dreidimensionalen 
Raum definiertsein muft, ein Modellformungsprozeft und ein Objektspezifizierprozeft im Vergleich mit entspre- 
chenden Prozessen fur ein zweidimensionales (2D) Modell komplex werden. Es ist zu beachten, daft in jungs- 
terZeit viele Falle vorliegen, bei denen CAD (Computer Aided Design) beim Entwerfen einer Anlage verwendet 
wird, und daft Design-Positionier-Vorrichtungen in der Anlage verwendet werden. Wenn diese Daten genutzt 
werden, kann das dreidimensionale Modell leicht gebildet werden. 

(2) Zweidimensionales Modell 

[0140] Dies ist ein Modell, bei dem die Form und die Position eines Objektes durch ein zweidimensionales 
Koordinatensystem (Anzeigeebene) hinsichtlich eines besonderen Kameraparameters definiert werden. Ein 
Verdienst dieses Modells ist, daft es einfach ausgebildet werden kann. Ein Modell kann in solcher Weise defi- 
niert werden, daft ein Muster auf einem Schirm gezeichnet wird. Ein Nachteil ist es, daft nur eine Bedienung 
fur ein Bild eines Kameraparameters ausgefuhrt wird, fur den ein Modell vorab definiert ist. Um den Freiheits- 
grad einer Kameraeinstellung zu erhohen, mussen die Form und die Position eines Objektes auf einer entspre- 
chenden Ebene fur jeden der Kameraparameter definiert werden, welche Werte grafter sind als die im Fall des 
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dreidimensionalen Modells. Bei den meisten Bedienungsuberwachungssystemen tritt haufig der Fall auf, daft 
verschiedene zu uberwachende Orte vorab bestimmt wurden. In einem solchen Fall fuhrt der Mangel des zwei- 
dimensionalen Modells zu keiner Schwierigkeit, da mehrere Arten von Kameraparametern vorab bestimmt 
sind. 



[0141] Ein Verfahren zum Identifizieren eines Objekts auf Grundlage des 3-D(dimentionalen)-Modells wird 
nun unter Bezugnahme auf die Fig„ 14 bis Fig, 17 erlautert. In Fig, 14 ist ein Beispiel dargestellt, bei dem das 
durch die in Fig, 8 daraestellte Kamera zu photographierende Objekt in einem 3-D-Orthogonalkoordinatensys- 
tem x, y, z (was als "Weltkoordinatensystem" bezeichnet wird) modelliert wird. Bei diesem Zeichnen wird die 
Form jedes Objekts durch eine Ebene, einen Quader und einen Zylinder und dergleichen modelliert. Viele an- 
dere 3-D-Grundformen, wie ein Wurfel und ein Tetraeder, konnen selbstverstandlich verwendet werden. Nicht 
nur die Grundformen werden miteinander kombiniert, sondern es konnen auch Modelle mit genaueren Formen 
als denjenigen der Grundformen verwendet werden. Zu bedienende Objekte 400, 410, 412, 414, 416, 4220, 
422 und 424 werden mit Modellen als Ebenen 800, 810, 812, 814, 816, 820, 822 bzw. 824 modelliert. 

[0142] Unter Bezugnahme auf Fig. 15 wird nun die Beziehung zwischen einem von einer Kamera photogra- 
phierten Bild und einem 3-D-Modell erlautert. Ein von einer Kamera ausgefuhrter Photographierablauf ent- 
spricht einem Ablauf, bei dem ein innerhalb eines dreidimensionalen Raums angeordnetes Objekt auf eine 
zweidimensionale Ebene projiziert wird (Videoanzeigebereich 200). D. h., daft das auf dem Videoanzeigebe- 
reich 200 dargestellte Bild einem derartigen Bild entspricht, bei dem das im 3-D-Raum angeordnete Objekt 
durch Perspektivprojektion auf eine zweidimensionale Ebene projiziert wird. Wenn nun angenommen wird, daft 
das auf dem Schirm definierte 2-D-Orthogonalkoordinatensystem Xy, Ys als Schirmkoordinatensystem be- 
zeichnet wird, kann der Photographierablauf von der Kamera durch die Gleichung (1) zum Abbilden eines 
Punkts (x, y, z) im Weltkoordinatensystem auf einen Punkt (Xs, Ys) im Schirmkoordinatensystem wie folgt wie- 
dergeben werden: 
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[0143] Die Matrix T in der obigen Gleichung (1) wird nun als Ansichtstransformationsmatrix bezeichnet. Die 
jeweiligen Elemente in der Ansichtstransformationsmatrix konnen bestimmt werden, wenn die Kameraparame- 
ter (Position, Stellung, Richtung und Blickwinkel der Kamera) sowie die Grofte des Videoanzeigebereichs 200 
vorgegeben sind. Die Kameraparametersind im Weltkoordinatensystem gegeben. In Fjg_.„1_5 entspricht die Po- 
sition der Kamera einer Koordinate des Zentrums "Oe" der Linse, die Stellung der Kamera entspricht einem 
Vektor OeYe, und die Entfernung der Kamera entspricht einem Vektor OeZe. 

[0144] Ein Identifizierprozeft fur ein Objekt entspricht einem Prozeft zum Bestimmen, welcher Punkt im Welt- 
koordinatensystem auf einen Punkt "p" im Schirmkoordinatensystem projiziert wurde, wenn ein Punkt "p" im 
Schirmkoordinatensystem spezifiziert wird. Wie es in Fkh JLH dargestellt ist, werden alle Punkte, die auf einer 
langgestreckten geraden Linie zum Verbinden des Zentrums Oe der Linse der Kamera mit dem Punkt "p" auf 
dem Schirmkoordinatensystem vorhanden sind. auf den Punkt "p" projiziert. Ein Punkt unter den Punkten auf 
dieser geraden Linie, die gerade durch die Kamera auf den Videoanzeigebereich 200 projiziert wird, entspricht 
einem Kreuzungspunkt zwischen der geraden Linie und dem Objekt 1 , das am nachsten beim Zentrum Oe der 
Linse angeordnet ist. In Fig. 16 wird ein Uberkreuzungspunkt P1 zwischen dem Objekt 1 und der geraden Linie 
840 auf den Punkt "p" im Videoanzeigebereich 200 projiziert. Anders gesagt, wird dann, wenn die Ereignispo- 
sition am Punkt "p" liegt, das Objekt 1 identifiziert. 

[0145] Die Technik zum Erhalten der Ansichtstransformationsmatrix T aus dem Kameraparameter und die 
Technik zum Darstellen des im Weltkoordinatensystem aufgrund der Ansichtstransformationsmatrix T durch 
perspektivische Projektion auf das Schirmkoordinatensystem sind auf dem Gebiet der Graphik wohlbekannte 
Techniken. Der Prozeft zum Projizieren einer Oberflache auf ein nahe einer Kamera positioniertes Objekt und 
nicht zum Projizieren einer Oberflache auf einen Schirm, die von einem anderen Objekt wahrend der perspek- 
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tivischen Projektion gegenuber der Karnera verdeckt ist, wird entweder als Elimination einer verdeckten Ober- 
flache oder als Bestimmung einer sichtbaren Oberflache bezeichnet. Eine grofce Anzahl von Algorithmen wur- 
de entwickelt. Die Techniken sind detaillierter z. B. in "Computer Graphics Principles and Practice" von Foley, 
vanDam, Feiner und Hughes beschrieben, erschienen bei Addison Wesley (1 990) sowie in "Principles of Inter- 
active Computer Graphics" von Newman, Sproull, erschienen bei McGraw-Hill (1 973). In den meisten Graphik- 
workstations sind Graphikfunktionen, wie das Einstellen einer Ansichtstransformationsmatrix, perspektivische 
Projektion und Beseitigen einer verdeckten Oberflache, ausgehend vom Kameraparameter vorab durch Hard- 
ware und Software installiert, und diese Funktionen konnen mit hoher Geschwindigkeit ausgefuhrt werden. 

[0146] Bei diesem Ausfuhrungsbeispiel wird der Prozeft zum Identifizieren eines Objektes unter Verwendung 
dieser Graphikfunktionen ausgefuhrt. Bei einem 3-D-Modell wird die Oberflache eines zu verarbeitenden Ob- 
jektes zuvor eingefarbt, und eine Unterscheidung kann dahingehend erfolgen, welche Oberflache einer Farbe 
zu welchem Objekt gehdrt. Z. B. werden in Fag, 14 den Ebenen 800, 810, 812, 814, 816, 820, 822 und 824 
verschiedene Farben zugeteilt. Die den jeweiligen Objekten zugeteilten Farben werden nun als ID(Kennzeich- 
nungs)-Farben bezeichnet. Eine Folge von Identifizierprozessen unter Verwendung eines 3-D-Modells mit die- 
sen ID-Farben ist in Fig. 17 daraestellt. Zunachstwird ein aktueller Kameraparameter abgefragt (Schritt 1300), 
und die Ansichtstransformationsmatrix wird ausgehend vom abgefragten Kameraparameter erstellt (Schritt 
1310). Im Mensch/Maschine-Server 20 wird der aktuelle Kamerazustand kontinuierlich verwaltet, und wenn 
eine Abfrage hinsichtlich eines Kameraparameters erfolgt, wird der Kameraparameter fur den aktuellen Kame- 
razustand zuruckgeliefert. Der aktuelle Kamerazustand kann vom Kameracontroller verwaltet werden. In ei- 
nem Schritt 1320 wird das Farbmodell auf Grundlage der im Schritt 1310 eingestellten Ansichtstransformati- 
onsmatrix in einen Ruckpuffer des Graphikrahmenpuffers 340 eingezeichnet. Bei diesem Zeichnungsablauf 
werden sowohl der perspektivische Projektionsablauf als auch der Ablauf zum Beseitigen einer verdeckten 
Oberflache ausgefuhrt. Da das Farbmodell in den Ruckpuffer eingezeichnet wird, erscheint das eingezeichne- 
te Ergebnis nicht auf der Anzeige 10. Wenn der Zeichnungsablauf abgeschlossen ist, werden die Pixelwerte 
des Ruckpuffers, die der Ereignisposition entsprechen, ausgelesen (Schritt 1330). Die Pixelwerte sind ID-Far- 
ben des auf die Ereignisposition projizierten Objektes. Die ID-Farbe entspricht dem Objekt in Eins-zu-Eins-Be- 
ziehung, und das Objekt kann so identifiziert werden. 

[0147] Unter Bezugnahme auf die Fig, 19A bis Fig, 25 wird nun ein Verfahren zum Identifizieren eines Ob- 
jektes auf Grundlage eines 2D(dimensionalen)-Modells erlautert. Im 2D-Modell werden die Form und der Ort 
eines Objektes nach Projektion auf dem Weltkoordinatensystem auf das Schirmkoordinatensystem definiert. 
Wenn die Richtung oder der Blickwinkel der Karnera verandert wird, werden die Position und die Form des auf 
das Schirmkoordinatensystem projizierten Objektes verandert. Daher mute das 2D-Modell Daten uberdie Form 
und die Position des Objektes hinsichtlich jedes Kameraparameters kennen. Bei diesem Ausfuhrungsbeispiel 
wird das Objekt durch einen rechteckigen Bereich nachgebildet. D. h., daft ein Objekt bei einem bestimmten 
Kameraparameter durch eine Position und die Grofte eines rechteckigen Bereichs im Schirmkoordinatensys- 
tem reprasentiert wird. Das Objekt kann unter Verwendung anderer Muster modelliert werden (z. B. eines Po- 
lygons oder einer frei festgelegten Kurve). 

[0148] Die Fjg, J9A, Fig. 19B, ng_._20A, Fag. 2QB, Fjq. 21A und Fig, 21 B zeiqen Beziehungen zwischen Ka- 
meraparametern und zweidimensionalen Modellen an. Die Fig. 19A . Fig- 20A und Fig, 21 A zeiqen Anzeige- 
betriebsarten des Videoanzeigebereichs 200 hinsichtlich der verschiedenen Kameraparameter. Die Fj cg Juuu 19B, 
Fig. 20B und Fig. 21B zeigen zweidimensionale Modelle fur das Objekt, das den jeweiligen Kameraparamtern 
entspricht. In Fig. 19 sind Objekte 410, 412, 414, 416, 420, 422 und 424 auf einem Bild als Rechteckbereiche 
710, 712, 714, 716, 720, 722, 724 in den zweidimensionalen Modellen von Fig. 19B reprasentiert. Eine Recht- 
eckgruppe von Objekten, die fur einen einzigen Kameraparameter modelliert wurden, wird als Bereichsrahmen 
bezeichnet. Ein Bereichsrahmen 1 , der dem Kameraparameter 1 entspricht, wird durch Rechteckbereiche 710, 
712, 714, 716, 720, 722 und 724 bezeichnet. Fig. 20 A, Fig. 2GB, Fig. 21 A. Fig. 21 B reprasentieren Beispiele 
fur Bereichsrahmen, die den verschiedenen Kameraparametern entsprechen. In den Fag. 2QA und Fig, 20B 
besteht ein Bereichsrahmen 2, der dem Kameraparameter 2 entspricht, aus Rechteckbereichen 740, 742, 746, 
748. Diese Rechteckbereiche 740, 742, 746 und 748 entsprechen den Objekten 412, 416, 424 bzw. 422. Auf 
ahnliche Weise besteht in den Fjg, J21A und Fjg„ 21 B der dem Kameraparameter 3 entsprechende Bereichs- 
rahmen 3 aus einem Rechteckbereich 730. Der Rechteckbereich 730 entspricht dem Objekt 400. Ein Objekt 
kann verschiedenen Rechteckbereichen entsprechen, wenn die Kameraparameter desselben voneinander 
verschieden sind. Z. B. entspricht das Objekt 416 dem Rechteckbereich 716 im Fall des Kameraparameters 1 , 
wohingegen dieses Objekt 416 dem Rechteckbereich 742 im Fall des Kameraparameters 2 entspricht. 

[0149] In den Hg, 23 , Fj g. 24 und Fjq. 25 sind Datenstrukturen eines zweidimensionalen Modells dargestellt. 
In Fig. 23 kennzeichnet ein Bezugszeichen 1300 eine Kameradatentabelle zum Abspeichern von Daten fur 
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jede Kamera. In der Kameradatentabelle 1300 sind sowohl Daten zu Kamerapararnetern, wie sie fur ein Objekt 
innerhalb eines Bildes einstellbar sind, und Daten zu Bereichsrahmen, die den jeweiligen Kamerapararnetern 
entsprechen, abgespeichert. 

[0150] In F_8g_._24 bezeichnet ein Bezugszeichen 1320 eine Datenstruktur eines Kamerapararneters. Die Da- 
ten des Kamerapararneters bestehen aus einem vertikalen Winkel, der der Kamerarichtung in vertikaler Rich- 
tung entspricht, einem horizontalen Winkel, der der Kamerarichtung in horizontaler Richtung entspricht, und 
einem Blickwinkel, der das Zoomausmaft anzeigt. Bei diesem Beispiel wird angenommen, daft die Stellung der 
Kamera und die Position derselben festgelegt sind. Wenn die Stellung der Kamera und die Position derselben 
ferngesteuert werden, konnen Daten zum Steuern dieser Punkte zum Kameraparameter 1320 hinzugefugt 
werden. Der Kameraparameter 1320 wird dazu verwendet, die Kamera auf einen vorgegebenen Kamerapara- 
meter einzustellen. Anders gesagt, ubertragt der Mensch/Maschine-Server 20 den Kameraparameter an den 
Kameracontroller, um dadurch die Kamera fernzusteuern. Es ist zu beachten, daft der Kameraparameter 1320 
nichtdirekt erforderlich ist, um den Prozeft zum Identifizieren des Objektes auszufuhren. 

[0151] Fig. 25 reprasentiert eine Datenstruktur eines Bereichsrahmens. Die Bereichsrahmendaten sind hin- 
sichtlich der Anzahl von Bereichen zum Bilden des Bereichsrahmens und hinsichtlich von Daten angeordnet, 
die sich auf die jeweiligen Rechteckbereiche beziehen. Die Bereichsdaten bestehen aus einer Position (x, y) 
eines Rechteckbereichs im Schirmkoordinatensystems, einer Grofte (w, h) eines Rechteckbereichs, einem ak- 
tiven Zustand, dem Betrieb und zusatzlicher Information fur ein Objekt. Der aktive Zustand des Objekts ist ein 
solcher Datenwert, der anzeigt, ob das Objekt aktiv oder nicht aktiv ist. Wenn ein Objekt inaktiv ist, wird es nicht 
identifiziert. Nur ein Objekt im aktiven Zustand wird identifiziert. Ein Zeiger auf eine Ereignis/Bedienvor- 
gang-Korrespondenztabelle 1340 wird im Bedienfeld gespeichert. Die beim Kennzeichnen des Objekts durch 
eine PD auszufuhrende Bedienung wird dadurch abgespeichert, daft ein Paar mit dem Ereignis in der Ereig- 
nis/Bedienungs-Korrespondenztabelle 1340 gebildet wird. Es ist zu beachten, daft ein Ereignis dazu dient, 
eine Bedienungsart einer PD zu kennzeichnen. Z. B. ist ein Ereignis beim starken Niederdrucken eines druck- 
empfindlichen Tastpaneels 12 verschieden von einem Ereignis beim schwachen Drucken auf das druckemp- 
findliche Tastpaneel 12. Beim Erzeugen eines Ereignisses wird ein am Ort dieses Ereignisses vorhandenes 
Objekt identifiziert, und dann wird diejenige Bedienung ausgefuhrt, die dem mit dem erzeugten Ereignis uber- 
einstimmenden Ereignis entspricht, wobei es sich um die Bedienung innerhalb der Ereignis/Bedienungs-Paare 
handelt, die fur dieses Objekt definiert sind. Zur zusatzlichen Information des Bereichsrahmens wird ein Zeiger 
auf die zusatzliche Information 1350 des Objekts abgespeichert, die nicht nur durch den Rechteckbereich aus- 
gedruckt werden kann. Es bestehen verschiedene Typen zusatzlicher Information. Z. B. werden Text, Farbe 
und die Bezeichnung eines Objekts in ein Objekt eingeschrieben, wie auch damit zusammenhangende Infor- 
mation (z. B. eine Bedienungsanleitung fur ein Gerat, Wartungsinformation, Designdaten). Im Ergebnis wird 
das Objekt auf Grundlage des in das Objekt eingeschriebenen Textes gesucht, und die zugehorige Information 
fur das spezifizierte Objekt wird reprasentiert. 

[0152] In Fsq, 22 ist eine Folge zum Identifizieren eines Objekts unter Verwendung eines zweidimensionalen 
Modells dargestellt. Zunachst wird ein dem aktuellen Kameraparameter entsprechender Bereichsrahmen aus 
der Kameradatentabelle 1300 abgerufen (Schritt 1200). Anschlieftend wird ein einer Ereignisposition entspre- 
chender Bereich aus dem Bereich zum Bilden des Bereichsrahmens abgerufen. Anders gesagt, werden Daten 
zur Position und Grofte der jeweiligen Bereiche, wie sie in den Bereichsrahmendaten abgespeichert sind, mit 
der Ereignisposition verglichen (Schritt 1220), und wenn der an der Ereignisposition liegende Bereich aufge- 
funden wird, wird diese Nummeran das Hostverarbeitungssystem zuruckgeliefert. Das Hostverarbeitungssys- 
tem uberpruft, ob der gefundene Bereich aktiven Zustand aufweist. Wenn der Zustand aktiv ist, wird die in Ver- 
bindung mit dem Ereignis festgelegte Bedienung ausgefuhrt. Der Schritt 1220 wird wiederholt, bis entweder 
der die Ereignisposition enthaltende Bereich aufgefunden ist oder alle Bereiche innerhalb des Bereichsrah- 
mens uberpruft sind (Schritt 1210). 

[0153] Ein zweidimensionales Modell ist dadurch definiert, daft ein Definitionswerkzeug fur ein zweidimensi- 
onales Modell verwendet wird. Das Definitionswerkzeug fur das zweidimensionale Modell ist mit den folgenden 
Funktionen versehen. 

(1) Kameraauswahlfunktion 

[0154] Diese Funktion bedeutet, daft eine beliebige, in einer Anlage angeordnete Kamera ausgewahlt wird 
und dann ein von dieser ausgewahlten Kamera gewonnenes Bild auf einem Schirm dargestellt wird. Es beste- 
hen die folgenden Kameraauswahlverfahren: 

- Eine Kamera zum Abbilden eines Objektes wird durch Spezifizieren dieses Objektes auf einem Anord- 
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nungsdiagramm einer Anlage spezifiziert, wie sie auf einem Schirm dargestellt wird. 

- Ein Ort, an dem eine Kamera angeordnet ist, wird auf einem Anordnungsdiagramm fur eine Anlage spe- 
zifiziert, wie es auf einem Schirm dargestellt wird. 

- Kennzeichen fur die Nummer und den Namen einer Kamera werden spezifiziert. 

(2) Kamerabetrieb-Einstellfunktion 

[01 55] Diese Funktion bedeutet, daft die oben beschriebene Kamera, wie sie mit der Kameraauswahlfunktion 
ausgewahlt wurde, ferngesteuert wird, und daft die Richtung und der Blickwinkel der Kamera eingestellt wer- 
den. 

(3) Musterzeichnungsfunktion 

[0156] Diese Funktion bedeutet, daft ein Muster in einem auf einem Schirm dargestellten Bild gezeichnet 
wird. Eine Musterzeichnung wird dadurch ausgefuhrt, daft Grundmusterelemente, wie ein Rechteck, ein Kreis, 
eine geknickte Linie und eine beliebige Kurve kombiniert werden. Eine angenaherte Form eines Objektes wird 
dadurch gezeichnet, daft bei dieser Funktion ein Bild des Objekts unterlegt wird. 

(4) Ereignis/Bedienungs-Paar-Definitionsfunktion 

[01 57] Diese Funktion bedeutet, daft mindestens ein von der Musterzeichnungsfunktion gezeichnetes Muster 
spezifiziert wird und ein Ereignis/Bedienungs-Paar fur diese Spezifizierung definiert wird. Ein Ereignis wird ent- 
weder durch Auswahl in einem Menu oder durch Eingeben eines Titels fur das Ereignis als Text definiert. Eine 
Bedienung wird dadurch beschrieben, daft eine vorgegebene Bedienung aus einem Menu ausgewahlt wird 
oder daft eine Eingabesprache verwendet wird. Als eine derartige Eingabesprache wird z. B. die Beschrei- 
bungssprache UIDL verwendet, die in "Transaction of Information Processing Society of Japan", Vol. 30, Nr. 9, 
Seiten 1200-1210, User Interface Construction Supporting System Including Meta User Interface, beschrieben 
ist. 

[0158] Diese Beschreibungssprache UIDL (User Interface Definition Language) wird nun beispielhaft zusam- 
mengefaftt. 

[0159] Bei UIDL wird ein Ereignis/Bedienungs-Paar durch das folgende Format definiert. 

Ereignistitel (Vorrichtung) (Bedienung) 

[0160] Ein "Ereignistitel" kennzeichnet eine Art von Ablauf, wie sie in einem durch ein Muster definierten 
Schirmbereich ausgefuhrt wird. Im Fall des druckempfindlichen Tastpaneels 12 wird ein Ereignistitel verwen- 
det, und der Inhalt einer Bedienung, die diesem Ereignistitel entspricht, wird wie folgt wiedergegeben. Ein an- 
derer Ereignistitel wird spezifiziert, wenn eine andere Einrichtung, wie eine Maus, als Zeigeeinrichtung verwen- 
det wird. 

[0161] Sanft-Druck: Dieses Ereignis wird hervorgerufen, wenn mit einem Finger leicht auf das Tastpaneel 12 
gedruckt wird. 

[0162] Fest-Druck: Dieses Ereignis wird hervorgerufen, wenn mit einem Finger fest auf das Tastpaneel ^ge- 
druckt wird. 

[0163] Sanft-Weg: Dieses Ereignis wird hervorgerufen, wenn ein Finger vom Tastpaneel 12 weggenommen 
wird, nachdem dieses zuvor leicht mit dem Finger beruhrt wurde. 

[0164] Fest-Weg: Dieses Ereignis wird hervorgerufen, wenn der Finger vom Tastpaneel 12 weggenommen 
wird, nachdem er zuvor fest auf dieses druckte. 

[01 65] Sanft-Zug: Dieses Ereignis wird hervorgerufen, wenn ein Finger bei leichtem Druck auf das Tastpaneel 
12 bewegt wird. 

[0166] Fest-Zug: Dieses Ereignis wird hervorgerufen, wenn ein Finger bei festem Druck auf das Tastpaneel 
12 bewegt wird. 
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[0167] Eine "Einrichtung" dient dazu, zu spezifizieren, von welchem Gerat das Ereignis hervorgerufen wurde, 
wenn mehrere Gerate zum Erzeugen desselben Ereignisses vorhanden sind. Wenn z. B. zwei Tasten links und 
rechts an einer Maus vorhanden sind, ist eine Entscheidung dahingehend zu treffen, von welcher Taste das 
Ereignis hervorgerufen wird. Bei diesem Ausfuhrungsbeispiel wird keine Spezifizierung hinsichtlich des Ereig- 
nisses vorgenommen, da das Gerat zum Erzeugen des oben angegebenen Ereignisses nur dem druckemp- 
findlichen Tastpaneel 12 entspricht. 

[0168] Eine "Bedienung" dient dazu, einen Prozeft festzulegen, der ausgefuhrt wird, wenn eine Bedienung 
entsprechend dem "Ereignistitel" in einem Bereich ausgefuhrt wird, derdurch ein Musterfestgelegt ist. Die "Be- 
dienung" wird dadurch festgelegt, daft bereitgestellte Grundbedienungen miteinander unter Verwendung einer 
bestimmten Syntax (Verzweigung, Sprung, Wiederholung, Prozedurfestlegung, Prozeduraufruf usw.) kombi- 
niert werden, ahnlich wie dies bei einer normalen Programmiersprache der Fall ist (z. B. der Sprache C usw.). 
Ein Beispiel fur eine Grundbedienung wird nun erlautert: 

- Aktivieren ( ): 
Aktivieren eines Objekts 

- Deaktivieren ( ): 
Deaktivieren eines Objekts 

- Erscheinen ( ): 

Darstellen eines Musters zum Festlegen eines Bereichs eines Objekts 

- Verschwinden ( ): 

Loschen der Anzeige eines Musters zum Definieren eines Bereichs eines Objekts. 

- Kameraeinschalten (Kamera, Bereich): 

Darstellen eines Bildes einer Kamera, wie sie durch ein Kameraargument in einem Bereich des Anzeige- 
schirms 100 spezifiziert wird, derdurch ein Bereichsargument spezifiziert ist. 

- Kameraparametersetzen (Kamera, Parameter): 

Einstellen eines Kamera para meters fur eine Kamera. Das Kameraargument bezeichnet die einzustellende 
Kamera. Das Parameterargument bezeichnet den Wert des einzustellenden Kameraparameters. 

- Kameraparameterholen (Kamera, Parameter): 

Ruckliefern des Wertes eines aktuellen Kameraparameters. Ein Kameraparameter der durch das Kamer- 
aargument spezifizierten Kamera wird in ein Parameterargument eingeschrieben. 

- Externen Prozedurnamen aufrufen (Argumentliste): 

Aufrufen einer Prozedur, die in einer anderen Programmiersprache (z. B. der Sprache C) gebildet wurde. 
Sowohl die aufrufende Prozedur als auch deren Argumente werden mit "externer Prozedurname" bzw. "Ar- 
gumentliste" bezeichnet. 

- Objektname und Bedienungsname senden (Argumentliste): 

Es wird entweder eine Grundbedienung eines anderen Objektes oder eine Prozedur aufgerufen. Die auf- 
zurufende Grundbedienung bzw. die Prozedur und die Argumente derselben werden als "Bedienungsna- 
me" bzw. "Argumentliste" bezeichnet. 

[0169] Beim oben angegebenen Definitionswerkzeug fur ein 2-D-Modell wird ein zweidimensionales Modell 
durch die folgenden Schritte erstellt. 

Schritt 1 : Spezifizieren einer Kamera und einer Kameraeinstellung. 

[0170] Eine Kamera wird unter Verwendung der oben angegebenen Kameraauswahlfunktion ausgewahlt, 
und dann wird ein von der ausgewahlten Kamera erhaltenes Bild auf einem Schirm dargestellt. Danach wird 
eine Kameraeinstellung unter Verwendung der oben unter (2) angegebenen Kameraeinstellfunktion einge- 
stellt, urn ein Bild eines gewunschten Orts zu erhalten. 

Schritt 2: Definition der Kontur eines Objekts: 

[0171] Die Kontur eines Objekts, wie es als Objekt unter Objekten innerhalb eines im Schritt 1 dargestellten 
Bildes dargestellt wird, wird dadurch gezeichnet, daft die oben unter (3) angegebene Musterzeichenfunktion 
verwendet wird. 

Schritt 3: Festlegen eines Paars eines Ereignisses und einer Bedienungs 

[0172] Mindestens eines der Muster, die mit der Prozedur 2 gezeichnet wurden, wird unter Verwendung der 
oben unter (4) angegebenen Ereignis/Bedienungs-Paar-Definitionsfunktion ausgewahlt, um ein Paar fur ein 
Ereignis und eine Bedienung zu definieren. 
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Schritt 4: Abspeichern eines Definitionsinhalts: 

[0173] Der Inhalt einer Definition wird, falls erforderlich, abgespeichert. Die Definitionsinhalte werden in den 
Datenstrukturen abgespeichert, wie dies in den Fig. 23 . Fig, 24 und Fig, 25 dargestellt ist. Wenn ein zweidi- 
mensionales Modell fur eine andere Kamera und eine andere Kameraeinstellung ausgebildet werden soil, wer- 
den die Schritte 1 bis 4 wiederholt. 

[0174] Das Definitionswerkzeug fur das 2-D-Modell kann im Mensch/Maschine-Server 20 untergebracht sein, 
es kann auf der Anzeige 10 dargestellt werden, oder es kann in einer ganz anderen Workstation und einem 
Personal Computer installiert sein, so daft das festgelegte zweidimensionale Modell in den Mensch/Maschi- 
ne-Server 20 ubertragen wird. 

[0175] Ein Beispiel fur das oben beschriebene Definitionswerkzeug fur das 2-D-Modell ist in Fig, 28 darge- 
stellt. In Fig, 28 bezeichnet ein Bezugszeichen 1500 das Definitionswerkzeug fur das zweidimensionale Mo- 
dell; ein Bezugszeichen 1501 bezeichnet ein Texteingabefeld zum Eingeben eines Titels fur einen Bereichs- 
rahmen; ein Bezugszeichen 1502 ist ein Menu zum Erzeugen/Editieren eines Bereichsrahmens durch Kombi- 
nieren von Grundmustern (gerade Linie, Rechteck, Ellipse, Bogen, geknickte Linie, Polygon) und zum Zuord- 
nen einer Bedienung zu denselben. Ein Bezugszeichen 1503 bezeichnet ein Verwaltungsmenu zum Speichern 
und Verandern des erzeugten Bereichsrahmens; ein Bezugszeichen 1504 bezeichnet ein Menu zum Auswah- 
len einer Kamera; Bezugszeichen 1505 und 1509 bezeichnen Menus fur Fernsteuerung der vom Menu 1504 
ausgewahlten Kamera, urn die Kamera zu verschwenken oder zu zoomen. Ein Bezugszeichen 1510 bezeich- 
net einen Bereich zum Anzeigen eines Bildes einer durch das Menu 1504 ausgewahlten Kamera, wie auch 
einen Bereich, in dem der Bereichsrahmen mit dem Bild zu uberlagern ist; ein Bezugszeichen 1511 ist ein im 
Bereich 1510 gezogenes Rechteck, urn das Objekt414 zu modellieren, und ein Bezugszeichen 1512 bezeich- 
net eine Zeigerbewegung in Zusammenhang mit der Eingabe eines Positionskoordinatenwertes von einer Zei- 
geeinrichtung, wie einer Maus oder einem Tastpaneel. Beim folgenden Beispiel wird eine mit zwei Tasten, je- 
weils einer links und rechts, versehene Maus als Zeigeeinrichtung verwendet. Ein Bewegen der Maus wahrend 
des Niederdruckens der Tasten der Maus wird als "Ziehen" bezeichnet. Niederdrucken einer Maustaste und 
Loslassen derselben, wahrend die Maus nicht bewegt wird, wird als "Klicken" bezeichnet. Zwei direkt aneinan- 
derschlieftende Klickbedienungen werden als "Doppelklicken" bezeichnet. 

[0176] Funktionen der jeweiligen Punkte des Menus 502 sind die folgenden: 

Gerade Linie: Dies ist eine Funktion zum Ziehen einer geraden Linie. Nachdem dieser Punkt ausgewahlt ist, 
wird, wenn die Maus innerhalb des Bereichs 1510 gezogen wird, eine gerade Linie gezeichnet, die die Position 
des Zeigers 1512 zu Beginn des Ziehens mit der Position des Zeigers 1512 beim Ende des Ziehens verbindet. 

[0177] Rechteck: Dies ist eine Funktion zum Ziehen eines Rechtecks. Nachdem dieser Punkt ausgewahlt 
wird und die Maus innerhalb des Bereichs 1510 gezogen wird, wird ein Rechteck in solcher Weise eingezeich- 
net, daft sowohl die Position des Zeigers 1512 beim Beginn des Ziehens als auch die Position des Zeigers 
1512 bei Beendigung des Ziehens diagonale Rechteckpunkte bilden. 

[0178] Ellipse: Dies ist eine Funktion zum Ziehen einer Ellipse. Nachdem dieser Punkte ausgewahlt ist und 
die Maus innerhalb des Bereichs 1510 gezogen wird, wird eine Ellipse gezeichnet, die innerhalb eines Recht- 
ecks eingeschrieben wird, bei dem sowohl die Position des Zeigers 1512 zu Beginn des Ziehens, als auch die 
Position des Zeigers 1512 bei Beendigung des Ziehens eine diagonale Linie bilden. 

[01 79] Geknickte Linie: Dies ist eine Funktion zum Ziehen einer geknickten Linie. Nachdem dieser Punkt aus- 
gewahlt ist und der Zeiger 1512 bewegt wird, wobei das Klicken der Maus (Taste) innerhalb des Bereichs 1510 
wiederholt werden und schlieftlich die Maus an derselben Position doppelt geklickt wird, wird eine geknickte 
Linie gezogen, die dadurch ausgebildet ist, daft diejenigen Punkte des Zeigers 1512 aufeinanderfolgend mit 
geraden Linien verbunden werden, bei denen die Maus geklickt wurde. 

[01 80] Polygon: Dies ist eine Funktion zum Ziehen eines Polygons. Nachdem dieser Punkt ausgewahlt ist und 
die Bewegung des Zeigers 1 512 und das Klicken der Maus innerhalb des Editierbereichs 1 51 0 wiederholt wer- 
den und schlieftlich die Maus doppelgeklickt wird, wird ein Polygon gezogen, das dadurch ausgebildet wird, 
daft die Positionen des Zeigers 1512 beim Klicken der Maus durch gerade Linien miteinander verbunden wer- 
den und der Endpunkt mit dem Startpunkt verbunden wird. 

[0181] Loschen: Ein vom Zeiger 1512 spezifiziertes Muster wird geloscht, und gleichzeitig wird dieses Muster 
in einen Puffer eingespeichert (dieser wird als "Paste- oder Einfuge puffer" bezeichnet). 
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[0182] Kopieren: Ein vom Zeiger 1512 spezifiziertes Muster wird in den Einfugepuffer kopiert. 

[0183] Einfugen: Der Inhalt des Einfugepuffers wird an der Position des Zeigers 1512 eingezeichnet, wenn 
bei der letzten Mausbewegung geklickt wird. 

[0184] Gruppe: Mehrere vom Zeiger 1512 spezifizierte Muster we rd en zu einer Gruppe zusammengefaftt. 
Mehrere zu einer Gruppe zusammengefaftte Muster werden als einziges Muster gehandhabt. Um ein einziges 
Objekt mit Hilfe rnehrerer Muster zu modellieren, werden diese Muster zu einer Gruppe zusammengefaftt. 
Wenn dieser Punkt ausgewahlt wird und nur ein gruppiertes Muster spezifiziert wird, wird die spezifizierte 
Gruppe freigegeben und in mehrere ursprungliche Zeichnungen ruckgefuhrt. 

[0185] Bedienung: Ein Bedienungsdefinitionsblatt zum Festlegen eines Ereignis/Bedienungs-Paars fur das 
vom Zeiger 1512 spezifizierte Muster wird aufgerufen. 

[0186] Funktionen der jeweiligen Punkte des Menus 1503 sind die folgenden: 
Neu: Ein Bereichsrahmen wird neu definiert. 

[0187] Offnen: Ein Name fur einen im Eingabefeld 1501 spezifizierten Bereichsnamen wird aufgerufen und 
dann im Bereich 1510 dargestellt. Dabei wird derjenige Kameraparameter eingestellt, der der Kamera ent- 
spricht, die mit dem aufgerufenen Bereichsrahmen in Beziehung steht, und ein Bild dieser Kamera wird im Be- 
reich 1510 dargestellt. 

[0188] Speichern: Der definierte Bereichsrahmen wird unter demjenigen Namen abgespeichert, der im Ein- 
gabefeld 1501 miteinem Kamera/Kamera-Parameterpaar spezifiziert wurde. 

[0189] Ende: Das Definitionswerkzeug fur das Modell wird abgeschlossen. 

[0190] Die Funktionen der Menus 1505 bis 1509 sind die folgenden: 

Menu 1505: Eine Kamera wird nach oben/unten bzw. rechts/links verschwenkt. 

[0191] Menu 1506: Eine Kamera wird aufgezoomt. 

[0192] Menu 1507: Eine Kamera wird abgezoomt. 

[0193] Menu 1508: Eine Kamera wird auf einen vorigen Kameraparameter eingestellt. 

[0194] Menu 1509: eine Kamera wird auf einen Wert fur einen Kameraparameter eingestellt, der abschlie- 
ftend abgespeichert wurde (Auswahlen des Punktes "Speichern" im Menu 1503). 

[0195] Wenn das Menu 1504 ausgewahlt wird, wird ein Bild der ausgewahlten Kamera im Bereich 1510 dar- 
gestellt. Eine Kamera wird unter Verwendung der Menus 1505 bis 1509 ferngesteuert und auf einen gewunsch- 
ten Kameraparameter eingestellt. Im Modelldefinitionswerkzeug 1500 wird die Kamera durch das Menu 1504 
ausgewahlt. Alternativ kann ein Ikon im Anlagensystemdiagramm dargestellt werden, das die Anordnung einer 
Kamera klaranzeigt, und die Kamera kann durch ein Verfahren zum Auswahlen des Ikons ausgewahlt werden. 

[0196] Abhangig vom Modelldefinitionswerkzeug 1500 wird das Objekt dadurch modelliert, daft die Grund- 
zeichnungen (gerade Linie, Rechteck, Ellipse, Bogen, geknickte Linie, Polygon) kombiniert werden. D. h., daft 
ein auf ein Schirmkoordinatensystem durch einen bestimmten Kameraparameter zu projizierendes Objekt 
durch die Position und die Grofte eines einzigen Grundmusters oder rnehrerer Grundmuster ausgedruckt wird. 
Ein Modell eines Objekts wird auf solche Weise definiert, daft ein im Bereich 1512 dargestelltes Bild unterlegt 
wird und die Kontur des darin darzustellenden Objektes eingezeichnet wird. Die Kontur des Objektes wird auf 
solche Weise gezogen, wie sie einem Zeichenverfahren unter Verwendung eines Zeichengerates fur ein nor- 
males Muster ahnlich ist. Wenn ein gewunschtes Grundmuster durch das Menu 1512 ausgewahlt ist und die 
Grofte und die Position des ausgewahlten Grundmusters unter Verwendung des Zeigers 1512 im Bereich 1510 
spezifiziert sind, wird das Grundmuster im Bereich 1510 gezeichnet. In Fag. 26 ist das Objekt 414 durch das 
Rechteck 1511 modelliert. Eine einzige oder mehrere Zeichnungen, durch die ein bestimmtes Objekt modelliert 
wurde, wird nun als Objektmodell bezeichnet. 

[0197] Wenn die Kontur des Objekts gezeichnet ist, wird eine Bedienung fur das anschlieftend gezeichnete 
Muster, d. h. das Objekmodell definiert. Die Beziehung wird dadurch definiert, daft das Bedienungsdefinitions- 
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blatt verwendet wird. Wenn der Punkt "Definition" im Menu 1502 ausgewahlt wird, wird ein Bedienungsdefini- 
tionsblatt 1500 geoffnet, wie es in Fig, 27 dargestellt ist. In Ha. 27 bezeichnet ein Bezugszeichen 1602 ein 
Menu zum Verwalten des Blattes 1600; ein Bezugszeichen 1603 bezeichnet ein Feld zum Eingeben eines Ob- 
jektnamens; ein Bezugszeichen 1604 bezeichnet ein Menu zum Auswahlen einer Ereignisart; ein Bezugszei- 
chen 1605 bezeichnet ein Menu zum Auswahlen einer Grundbedienung, die vorab fur ein Objekt definiert wur- 
de; und ein Bezugszeichen 1606 bezeichnet einen Bereich, in dem ein Ereignis/Bedienungs-Paar unter Ver- 
wendung der oben angegebenen Beschreibungssprache UIDL beschrieben ist. 

[0198] Wenn das Ereignis/Bedienungs-Paar eingegeben wird, konnen die Ereignisart und die Grundbedie- 
nung des Objektes aus den Menus 1604 und 1605 ausgewahlt werden. Nach Auswahl der Menus 1604 und 
1605 wird entweder der ausgewahlte Ereignisname oder der Name fur den ausgewahlten Grundbetrieb in die 
Eingabeposition im Bereich 1606 eingegeben. Infolgedessen kann ein Prozeftablauf zum Eingeben des Ereig- 
nisnamens oder des Namens fur die Grundbedienung uber die Tastatur weggelassen werden, so daft die Ar- 
beitsbelastung fur die Bedienungseingabe verringert werden kann. 

[0199] Funktionen der jeweiligen Punkte des Menus 1602 sind die folgenden: 

Speichern: Ein definiertes Bedienungs/Definitions-Paar wird als Ereignis-Bedienungs/Entsprechungstabelle 
der Bereichsrahmendaten abgespeichert. 

[0200] Ende: Ein Bedienungsdefinitionsblatt wird beendet, und die Steuerung wird an das Modelldefinitions- 
werkzeug 1500 zuruckgegeben. 

[0201] Hq. 27 reprasentiert einen Zustand, bei dem eine Bedienung fur ein Muster 1511 definiert wird, bei 
dem das Objekt 41 4 modelliert ist. In ein Eingabefeld 1603 wird "Spannung-Ein-Knopf" als Objektname fur das 
Muster 1511 eingegeben. Dann wird in einen Bereich 1606 ein Ereignis/Bedienungs-Paar dahin eingegeben, 
daft dann, wenn "stark auf ein Objekt gedruckt wird, eine Prozedur "Ferngesteuerte-Spannung-Ein-O" aufge- 
rufen wird". 

[0202] Nachdem die Modelldefinition abgeschlossen ist, wird ein Punkt "Speichern" des Menus 1503 ausge- 
wahlt, urn den Inhalt der Definition in den Datenstrukturen abzuspeichern, wie in den Fig. 23 bis Fig. 25 dar- 
gestellt. Wenn das Modelldefinitionswerkzeug 1500 durch den Mensch/Maschine-Server 20 betatigt wird, wird 
der Definitionsinhalt im Hauptspeicher 310 und in der Platte 320 abgespeichert. 

[0203] Da ein Modell zu einem Objekt vorliegt, kann erkannt werden, wo und wie das Objekt innerhalb eines 
Bildes reprasentiert wird. Infolgedessen kann die mit dem Objekt verbundene Information graphisch auf Grund- 
lage der Position und der Form des Objekts innerhalb des Bildes dargestellt werden, und das Bild des Objekts 
kann wieder aufgefunden werden. Beispiele dafur sind die folgenden. 

- Der Name eines Objekts, die Funktion, die Bedienungsanleitung, das Wartungsverfahren und dergleichen 
des Objekts werden auf oder nahe dem darzustellenden Objekt synthetisiert. 

[0204] In Ffg. 28 ist ein Beispiel dargestellt, gemaft dem eine auf ein Objekt bezogene Erklarung neben dem 
Objekt dargestellt ist. In dieser Figur bezeichnen Bezugszeichen 2201 und 2202 graphische Anzeigen fur die 
Einrichtungen der Objekte 518 bzw. 524. 

- Ein von einer Graphik gebildetes Objekt wird mit einem tatsachlich darzustellenden Bild in solcher Weise 
synthetisiert, daft das Objekt aktuell von einer Kamera so photographiert wird, wie es vorlag. 

- Das Suchen zusatzlicher Information zu einem Objekt auf Grundlage eines eingegebenen Schlusselwor- 
tes, das Einstellen einer Kamera und eines Kameraparameters, urn das relevante Objekt abzubilden, wer- 
den ausgefuhrt. 

- Eine interne Struktur eines Objekts, die von einer Kamera nicht photographiert werden kann, wird zusam- 
men mit dem darzustellenden Objekt synthetisch im Bild dargestellt. Z. B. wird der Zustand, bei dem Wasser 
in einem Rohr flieftt, auf Grundlage der von einem anderen Sensor erhaltenen Daten simuliert, und dann 
wird das Simulationsergebnis mit der Darstellung des Rohrs, wie es in einem tatsachlichen Bild zu sehen 
ist, fur Anzeigezwecke synthetisiert. Auf ahnliche Weise wird eine Graphik zum Anzeigen des Zustandes 
von Flammen innerhalb eines Dampferzeugers (z. B. ein Temperaturverteilungsdiagramm, wie es aus von 
einem Sensor erhaltener Information erzeugt wird) zu Anzeigezwecken dem Dampferzeuger uberlagert, 
wie er im Bild dargestellt wird. 

- Ein hierbei zu beachtendes Objekt wird durch die Graphik deutlich angezeigt. Wenn z. B. ein aufterge- 
wohnlicher Vorgang von einem Sensor festgestellt wird, wird fur Anzeigezwecke eine Graphik mit einem 
Objekt in einem Bild synthetisiert. Graphiken werden mit einem Objekt in einem Bild synthetisiert, das sich 
auf Daten bezieht, die durch eine Trennkurve dargestellt werden, so daft eine Beziehung zwischen den Da- 
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ten und dem Objekt im Bild sofort erkannt werden kann. 

[0205] Obowhl beim oben beschriebenen Ausfuhrungsbeispiel die von einer normalen Kamera aufgenomme- 
nen Bilder verwendet werden, kann die Erfindung selbstverstandlich mit jedem Bild verwendetwerden, das von 
einer speziellen Kamera aufgenommen wird (einer Infrarotkamera, einer Kamera mit Fischaugenlinse, thermo- 
graphische Aufnahme), oder es kann ein bildverarbeitetes Bild verwendet werden. 

[0206] Als Wirkung des vorliegenden Ausfuhrungsbeispiels kann mindestens einer der folgenden Punkte (1 ) 
bis (6) erzielt werden. 

(1) Bei einem Fernbedienungs-Uberwachungssystem kann eine Bedienperson intuitiv ein zu betatigendes 
Objekt und das Bedienungsergebnis erfassen, was zu weniger fehlerhafter Bedienung fuhrt. 

(2) Ein erwunschtes Oberwachungsbild kann einfach beobachtet werden, ohne daft eine Bedienperson mit 
Kameraauswahl oder Kamerafernsteuerung belastigt wird. 

(3) Eine Bedienung kann auf einem Oberwachungsbild ausgefuhrt werden. Infolgedessen besteht kein Er- 
fordernis dahingehend, einen Uberwachungsmonitor von einem Bedienpaneel abzusondern. Ein Fernsteu- 
erungs-Oberwachungssystem kann kompakt ausgebildet werden, und daher kann Raumersparnis erzielt 
werden. 

(4) Graphiken werden mit einem Kamerabild kombiniert, und das kombinierte Bild wird dargestellt, so daft 
die Vorzuge der Graphik und des Kamerabildes erzielt werden und die Nachteile dieser Punkte einander 
kompensieren. Anders gesagt, kann ein wesentlicher Bereich hervorgehoben werden, wahrend das Gefuhl 
des Vorhandenseins vor Ort beibehalten wird. 

(5) Es isteine Representation moglich, bei der auf verschiedene Informationsarten wechselseitig auf einmal 
Bezug genommen werden kann. Z. B. kann lediglich durch Spezifizieren eines durch ein Kamerabild zu 
uberwachenden Bereichs eine Trendkurve dargestellt werden, die einen Sensorwert veranschaulicht, der 
diesem spezifizierten Bereich zugeordnet ist. So konnen die Zustande vor Ort umfassend beurteilt werden. 

(6) Eine Mensch/Maschine-Schnittstelle, durch die eine Bedienung direkt in einem Bild ausgefuhrt werden 
kann, kann einfach entworfen und entwickelt werden. 

[0207] Es istzu beachten, daft, obwohl bei diesem Ausfuhrungsbeispiel mehrere Kameravideobilder verwen- 
det wurden, Bilder verwendet werden konnen, die von mehreren Plattenwiedergabegeraten (z. B. einer opti- 
schen Platte) gewonnen werden. 

[0208] Unter Bezugnahme auf die 0^2 9 bis Fjjg-Jjfi wird nun ein Anlagesteuerungs-Uberwachungssystem 
gemaft einem anderen Ausfuhrungsbeispiel (zweiten Ausfuhrungsbeispiel) der Erfindung beschrieben. 

[0209] Das unten beschriebene Ausfuhrungsbeispiel betrifft die Verknupfung von entweder Videodaten oder 
Tondaten mit Daten (Steuerdaten), wie sie zum Steuern von Einrichtungen verwendet werden, die synchrone 
Wiedergabe von entweder Videodaten oder Tondaten mit Steuerdaten, die Wechselbeziehung von entweder 
Videodaten oder Tondaten und Steuerdaten sowie die Synthese von entweder Videodaten oder Tondaten mit 
Steuerdaten. 

[0210] Pica. 29 zeigt eine Anordnung des Anlagesteuerungs-Uberwachungssystems gemaft dem vorliegen- 
den Ausfuhrungsbeispiel. 

[0211] Eine in einem Fabrikfeld zu uberwachende Vorrichtung (wird einfach als "gesteuerte Vorrichtung" be- 
zeichnet) 21 01 ubertragt Betriebszustande anzeigende Prozeftdaten uber ein Kabel 21 35 an einen Steuerung- 
scomputer 21 02, der zu jedem Zeitpunkt als erste Eingabeeinrichtung wirkt. Im Steuerungscomputer 21 02 wer- 
den die Prozeftdaten analysiert, und Steuerdaten werden uber ein Kabel 2136 an die gesteuerte Vorrichtung 
2101 ausgegeben. Auch werden Prozeftdaten, die uber ein Kabel 2137 in ein LAN 2120 eingeleitet werden, 
und Bedienerbefehle, die uber ein Kabel 2138 vom LAN 2120 zugefuhrt werden, empfangen und dann im Steu- 
erungscomputer 2102 verarbeitet. Wie oben beschrieben, besteht die Hauptfunktion des Steuerungscompu- 
ters 2102 darin, die Prozeftdaten zu erfassen, die Prozeftdaten an das LAN auszugeben, die Bedienerbefehle 
vom LAN einzulesen und die Prozeftsteuerungssignale an die gesteuerte Vorrichtung 2101 auszugeben. 

[0212] Der LAN 2120 weist ein "Ethernet"-Kabel auf, uber das Signale, wie Bedienerbefehle und Prozeftda- 
ten, flieften. Der LAN 2120 ist mit den jeweiligen Vorrichtungen uber ein Ausgangskabel 2137 vom Steuerung- 
scomputer 21 02, ein Eingangskabel 21 38 zum Steuerungscomputer 21 02, ein Ausgangskabel 2143 von einer 
Datenbasis 2104, einem Eingangskabel in die Datenbasis 2104, einem Ausgangskabel 2140 aus einer Work- 
station 2103 und einem Eingangskabel 2139 in die Workstation 2103 verbunden. 
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[0213] Die Datenbasis 2104, die ersten und dritten Speichereinheiten und einer ersten Wiedergabeeinheit 
entspricht, greift uber das Kabel 2144, die im LAN 2120 flieften, zu und zeichnetdie Prozeftdaten und derglei- 
chen zusammen mit einern Zeitpunkt "t" auf, wie er von einem Takt angezeigt wird, der intern vorhanden ist. 
Wenn ein Datenlesebefehl uber das Kabel 2144 eingegeben wird, wird derdurch diesen Datenlesebefehl spe- 
zifizierte Datenwert uber das Kabel 2143 an den LAN 2120 ubertragen. 

[0214] Mehrere ITV-Kameras 2110 sind mit Kamerasteuerungsvorrichtungen versehen, die dazu in der Lage 
sind, die ITV-Kameras in Steuerungsbetriebsarten fur Verschwenken, Verdrehen und Zoomen auf den Emp- 
fang von Steuerungssignalen hin fernzusteuern, wasauch fur Mikrophone gilt, die zusammen mit den Kameras 
bewegbar sind. Die Kameras 2110 senden Videobilder und Tonsignale fur die gesteuerte Vorrichtung 2101 
uber die Kabel 2130 und 2131 an einen Umschalter 2109. Der Umschalter 2109 ubertragt das von der Work- 
station 2103 eingegebene Kamerasteuerungssignal uber das Kabel 2132 an die Kameras 2110. Die ITV-Ka- 
meras 2110 entsprechen einer zweiten Eingabeeinheit. 

[0215] Als Video/ Audio-Aufzeichnungseinheit 2108, die der zweiten Speichereinheit und der zweiten Wieder- 
gabeeinheit entspricht, wird eine Einheit mit wahlfreiem Zugriff verwendet, wie eine optische Platte. Obwohl ein 
Videoband als Einheit mit wahlfreiem Zugriff verwendet werden kann, ist hier die Suche und die Anzeige zeit- 
aufwendig, da die Datensuche bei einem Videoband sequentiell ausgefuhrt wird. Alle Videobilder und Tonsig- 
nale, die von den ITV-Kameras 2110 aufgenommen werden, werden uber den Umschalter 2109 geleitet und 
uber das Kabel 2133 eingegeben. Wenn die der Steuereinheit entsprechende Workstation 2103 den Lesebe- 
fehl uberden Umschalter 2109 und das Kabel 2145 eingibt, wird die spezifizierte Video/Audio-Information uber 
das Kabel 2134 an den Umschalter 2109 ausgegeben. 

[0216] Der Umschalter 2109 ist ein Schalter, der dazu dient, die Video- und Toninformation auszuwahlen, 
wenn mehrere eingegebene Video- und Tonsignale uber das Kabel 2141 an die Workstation 2103 gesendet 
werden, und er entspricht auch einem Schalter zum Auswahlen eines Signalzielortes, wenn ein Kamerasteu- 
erungssignal und ein Videoaufzeichnungs-Aufrufsignal, die von der Workstation 2103 uber das Kabel 2142 
ausgegeben werden, an die Kameras 2110 und die Video/Audio-Aufzeichnungseinheit 2108 gesendet werden. 

[0217] Die Workstation 2103 ist mit einer Anzeige 2111 und einem Lautsprecher 2112 verbunden, die der ers- 
ten und der dritten Ausgabeeinheit als Ausgabeeinheiten an die Bedienperson entsprechen, und sie ist auch 
mit Eingabevorrichtungen, wie einer Tastatur 2106, einer Maus 2105, einem Tastpaneel 2107 als Eingabeein- 
heit von der Bedienperson her verbunden (einer Mefcdaten-Ausgabespezifiziereinheit, einer Einheit zum Aus- 
wahlen eines Objekts und einer Einheit zum Spezifizieren eines Suchwertes fur Meftdaten). Auch ist das LAN 
2120 uber die Kabel 2139 und 2140 angeschlossen, und der Umschalter 2109 ist uber die Kabel 2141 und 
2142 angeschlossen. Die Workstation 2103 verarbeitet die uber das Kabel 2139 eingegebenen ProzefkJaten, 
um einen Anzeigeschirm aufzubauen, und sie stellt auf der Anzeige 2111 die Prozefklaten zusammen mit den 
uber das Kabel 2141 eingegebenen Videodaten dar. Andererseits werden die uber das Kabel 2141 eingege- 
benen Tondaten vom Lautsprecher 2112 ausgegeben. Sowohl der Lautsprecher 2112 als auch die Anzeige- 
einheit 2111 entsprechen der zweiten Ausgabeeinheit. Eine von der Bedienperson vorgenommene Tastenein- 
gabe uber die Tastatur 21 06, und auch Eingaben von Eingabevorrichtungen, wie der Maus 21 05 und dem Tast- 
paneel 2107, werden in der Workstation 2103 verarbeitet, und sie werden auch als Steuerungscode fur die ge- 
steuerte Vorrichtung 21 01 uber das Kabel 2140 ausgegeben, und sie werden ferner als Umschaltbefehl an den 
Video/Audio-Umschalter 2109, als Steuercode fur die Kamera 2100 und als Aufrufcode fur die Video/ Au- 
dio-Aufzeichnungseinheit 2108 ausgegeben. 

[0218] Die Bedienperson uberwachtdie durch die Videosignale, Zeichen und Graphiken auf der Anzeige 2111 
angezeigten Systernzustande und fuhrt die erforderlichen Bedienungen und Befehle unter Verwendung der 
Maus 2105, der Tastatur 2106 und des Tastpaneels 2107 aus. Zum Zweckder Erlauterung wird das Tastpaneel 
2107 als Eingabevorrichtung von der Bedienperson verwendet. Andere Vorrichtungen konnen selbstverstand- 
lich als eine solche Eingabevorrichtung verwendet werden. 

[0219] Die innere Struktur der Workstation 2103 ist in Fi g, .30 dargestellt. Ein Bezugszeichen 2201 bezeichnet 
eine CPU (zentrale Verarbeitungseinheit); ein Bezugszeichen 2202 bezeichnet einen Hauptspeicher; ein Be- 
zugszeichen 2203 bezeichnet eine l/O-Schnittstelle (Eingabe/Ausgabe); ein Bezugszeichen 2204 bezeichnet 
einen Graphikschirmrahmenpuffer zum Darstellen von Prozeftdaten auf der Anzeige 2111 ; ein Bezugszeichen 
2205 bezeichnet einen A/D-Wandler zum Umwandeln eines eingegebenen Videosignals in ein digitales Signal; 
ein Bezugszeichen 2206 bezeichnet einen Videopufferrahmen und ein Bezugszeichen 2207 bezeichnet eine 
Mischschaltung zum Mischen eines Graphikschirms mit einem Videobild. 
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[0220] In ist eine Anordnung derVideo/Audio-Aufzeichnungseinheit 21 08 dargestellt. Diese Video/ Au- 

dio-Aufzeichnungseinheit 2108 bestehtaus einer CPU 2301, die zum Zugreifen auf verschiedene Befehle, wie 
sie von der Workstation 2103 zum Verarbeiten dieser Befehle erzeugt werden, und auch zum Ausgeben von 
Aufzeichnungs/Wiedergabe-Befehlen dient; einem Hauptspeicher 2302, der als Videopuffer verwendet wird; 
einem AD/DA(Analog/Digital-Digital/Analog)-Wandler 2303 zum Digitalisieren eines Signals von der ITV-Ka- 
mera2100 und zum Umwandeln eines digitalen Signals in ein analoges Signal, das an die Workstation zu uber- 
tragen ist; und ferneraus einer Video/Audio-Aufzeichnungs/Lese-Einheit 2304. 

[0221] Fscs, 32 reprasentiert einen Anzeiqeschirm im Prozefisteuerungs-Oberwachungssystem. DerAnzeige- 
schirm ist mitfolgendem versehen: einem Prozefcgesamtanordnungsdiagramm 2401, einem Bewegungsbild- 
anzeigebereich 2402 zum hauptsachlichen Anzeigen von Videobildern von den ITV-Kameras, einer Trendkur- 
ve 2403 zum Darstellen der Prozefcdaten der gesteuerten Vorrichtung 2101; einem Takt 2406; einem Aufga- 
benbereich 2404 zum Darstellen von Umschalt-Hilfeinformation und dergleichen; einem ProzefkJaten anzei- 
genden Mefcgerat 2405 und einem Menubereich 2407. Innerhalb des Menubereichs 2407 ist folgendes darge- 
stellt: ein Kamerawechselknopf 2408; ein Knopf 2409 zum Spezifizieren eines innerhalb eines Videobildes und 
von Prozefkiaten auszuwahlenden Objektes; ein Betriebsartknopf 2410 zum Auswahlen einer Uberwachungs- 
betriebsart und einer Wiedergabebetriebsart, einer Standardwiedergabe und einer verlangsamten Wiederga- 
be; ein Auswahlknopf 2411 zum Auswahlen eines einfachen Editoraufrufablaufs und eines darzustellenden 
Graphen. Wenn nun angenommen wird, daft die Prozefkiaten von der gesteuerten Vorrichtung 2101 in diesem 
Menubereich 2407 dargestellt werden, konnen andere Datenlisten und skalare Groften dargestellt werden. 
Auch konnen mehrere Datenanzeigeeinrichtungen, wie sie oben erlautert wurden, auf der Anzeige vorhanden 
sein. 

[0222] Fig. 33 zeigt eine Trendkurve 2403 zum Darstellen von Prozefkiaten genauer. Die Trendkurve 2403 
besteht aus einer Datenanzeigeeinheit 2501 , einer Datengroftenanzeigeeinheit 2502, einem Zeitkursor 2503, 
einer Zeitachse 2504, einem Datenwertkursor 2505 sowie Zeitachsenverstellknopfen 2506 und 2507. 

[0223] Die Prozefkiaten werden auf der Datenanzeigeeinheit 2501 als Kurve dargestellt, und es wird auch die 
Benennung derselben in der Datengr6E>enanzeigeeinheit2502 dargestellt. Die Beziehung zwischen den Daten 
und einer Bezeichnung derselben wird durch die Breite einer Linie, durch die Farbe oder die Art der Linien her- 
gestellt. 

[0224] Der Zeitkursor 2503 reprasentiert unter Verwendung der Zeitachse 2504 den Aufzeichnungszeitpunkt 
oder die Erzeugungszeitpunkte aller Daten (z. B. einen Datenwert, wie er vom Mefigerat 2405 angezeigt wird, 
ein Bild 2402, einen Zeitpunkt des Taktes 2406, einen Punkt der Trendkurve 2403 am Ort des Zeitkursors 
2503), wie sie in der aktuellen Anzeige dargestellt werden. Anders gesagt, entspricht der Zeitkursor 2503 der 
Trendkurve 2403 einer Zeitanzeigeeinheit zum Anzeigen des Zeitpunkts, zu dem die aktuell dargestellten Da- 
ten aufgezeichnet wurden. 

[0225] Die Zeitachse 2504 zeigt einen Wert zum aktuellen Zeitpunkt an, wenn der Zeitpunkt, zu dem Daten 
darzustellen sind, nicht innerhalb der dargestellten Zeitachse 2504 vorhanden ist, was dadurch erfolgt, daf3> der 
Wert des dargestellten Zeitpunktes nach rechts hin (d. h. in zeitlicher Ruckwartsrichtung, was als "Ruckwarts- 
richtung" bezeichnet wird) oder nach links hin bewegt wird (d. h. zu fortschreitender Zeit hin, was als "positive 
Richtung" bezeichnet wird). Die Zeitachse 2504 kann ausgeweitet oder verkurzt werden, und ein Ausschnitt 
aus derselben kann ausgeweitet oder verkurzt werden. Infolgedessen wird ein Abschnitt der Zeitachse 2504, 
fur den Detailbetrachtung gewunscht wird, expandiert, wohingegen ein anderer Abschnitt derselben verringert 
wird, fur den keine Detailbetrachtung erwunscht ist. 

[0226] Der Zeitachsenbewegungsknopf 2507 dient dazu, den Wert des Zeitpunkts zu verstellen, wie er auf 
der Zeitachse 2504 nach rechts dargestellt wird, so daf2> der Zeitpunkt vor dem aktuell dargestellten Zeitpunkt 
reprasentiert wird. Andererseits dient der Knopf 2508 dazu, den Wert des Zeitpunktes nach links zu verschie- 
ben, um einen Zeitpunkt darzustellen, der auf den aktuell dargestellten Zeitpunkt folgt. 

[0227] Der Datenwertkursor 2505 dient dazu, einen Prozefklatenwert aufzusuchen. Nachdem der aufzusu- 
chende Prozefklatenwert ausgewahlt wurde und der Datenwertkursor auf den Suchwert gefahren wurde, wer- 
den sowohl die Zeitachse 2504 als auch der Zeitpunktkursor 2503 bewegt, und dann nahert sich der Zeitpunkt- 
kursor 2503 dem Zeitpunkt, zu dem der ausgewahlte Datenwert den Suchwert aufweist. 

[0228] Beim folgenden Beispiel wird eine Trendkurve als Datenanzeigeeinheit zum Darstellen der Prozefkia- 
ten auf der Anzeige verwendet. Jede andere Datenanzeigeeinheit als eine Trendkurve kann auch verwendet 
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werden. 

[0229] Beim vorliegenden Ausfuhrungsbeispiel liegen die folgenden Funktionen fur das Prozeftuberwa- 
chungssystem vor: 

(1 ) Der Betrieb zum Wiedergeben aufgezeichneter Videobilder kann nicht nur die Videobilder und den Ton 
wiedergeben, sondern er kann auch ProzefkJaten zu demjenigen Zeitpunkt auffinden, zu denen das Vide- 
obild aufgenommen wurde, und er kann diese Prozefkiaten darstellen. 

(2) Wenn eine Zeitanzeigeeinheit, wie der Zeitpunktkursor 2503 der Trendkurve, verwendet wird, kann der 
Zeitpunkt angegeben werden, zu dem sowohl das Videobild als auch der Ton aufgenommen wurden, und 
es konnen auch die zu diesem Zeitpunkt aufgefundenen Prozefkiaten dargestellt werden. 

(3) Die ProzefkJaten werden durch Spezifizieren dieser Prozefkiaten und eines Suchwertes furdieselben 
gesucht. Diese Daten werden aufgerufen und dargestellt, und daruber hinaus werden sowohl das Videobild 
zum Zeitpunkt, zu dem diese Daten aufgezeichnet wurden, als auch andere ProzefkJaten fur diesen Zeit- 
punkt fur die Darstellung aufgerufen. 

(4) Wenn das aufgezeichnete Videobild wiedergegeben wird, wird die Anzeigefrequenz der ProzefkJaten 
hinsichtlich der Zeit durch die Wiedergabegeschwindigkeit verandert. 

(5) Die dem Zeitpunkt der ProzefkJaten zugeordnete Anzeigefrequenz wird vorab bestimmt, damit die Wie- 
dergabegeschwindigkeiten fur die Video- und Tonsignale fur diese Anzeigefrequenz festliegen, wenn die 
Videosignale wiedergegeben werden, und dann werden die Video- und Tonsignale wiedergegeben und an- 
gezeigt. 

(6) Die Bedienungsinformation von der Bedienperson wird aufgezeichnet und beim Wiedergeben des Vide- 
obildes wird auch die von der Bedienperson vorgenommene Bedienung wiedergegeben. 

(7) Die Bedieninformation von der Bedienperson wird aufgezeichnet, und Bediendaten von der Bedienper- 
son werden spezifiziert, wodurch dieser Bedienvorgang aufgesucht wird, und die Videodaten und die Pro- 
zefkJaten fur den Zeitpunkt der Ausfuhrung der Bedienung werden aufgerufen und dargestellt. 

(8) In einem Videobild wurden von der Bedienperson unter Verwendung des Tastpaneels auswahlbare Ob- 
jekte festgelegt. Wenn das Videobild wiedergegeben wird, wahlt die Bedienperson dieses Objekt aus, urn 
die zugehorigen ProzefkJaten darzustellen. 

(9) In einem Videobild wurden von der Bedienperson unter Verwendung des Tastpaneels auswahlbare Ob- 
jekte festgelegt. Wenn die Bedienperson eines dieser Objekte wahrend der Wiedergabe des Videobildes 
auswahlt, werden die zugehorigen ProzefkJaten auf hervorgehobene Weise dargestellt. 

(10) In einem Videobild wurden von der Bedienperson unter Verwendung des Tastpaneels auswahlbare Ob- 
jekte definiert. Wenn die Bedienperson eines der Objekte bei der Wiedergabe des Bildes auswahlt, wird ein 
Auswahlmenu betreffend die zugehorigen ProzefkJaten dargestellt. Wenn ein Punkt aus diesem Menu aus- 
gewahlt wird, werden die ProzefkJaten des ausgewahlten Punktes dargestellt. 

(11 ) In einem Videobild wurden von der Bedienperson unter Verwendung des Tastpaneels auswahlbare Ob- 
jekte definiert. Wenn die Bedienperson eines der Objekte bei Wiedergabe des Videobildes auswahlt, wer- 
den zugehorige Prozefkiaten fur das ausgewahlte Objekt innerhalb des Videobildes dargestellt. 

(12) In einem Videobild wurden von der Bedienperson unter Verwendung des Tastpaneels auswahlbare Ob- 
jekte definiert. Wenn die Bedienperson eines der Objekte bei Darstellung des Videobildes auswahlt, werden 
zugehorige Prozefkiaten durch Computergraphik dargestellt und dem Bild uberlagert. 

(13) In einem Videobild wurden von der Bedienperson unter Verwendung des Tastpaneels auswahlbare Ob- 
jekte definiert. Wenn die Bedienperson eines der Objekte bei Darstellung des Videobildes auswahlt, wird 
ein anderes innerhalb des zugehorigen Videobildes auswahlbares Objekt auf hervorgehobene Weise dar- 
gestellt. 

(14) In einem Videobild wurden von der Bedienperson unter Verwendung des Tastpaneels auswahlbare Ob- 
jekte definiert. Wenn die Bedienperson eines der Objekte bei Darstellung des Videobildes auswahlt, wird 
zusatzliche Information zu diesem ausgewahlten Objekt dargestellt. 

(15) In einem Videobild wurden von der Bedienperson unter Verwendung des Tastpaneels auswahlbare Ob- 
jekte definiert. Wenn die Bedienperson eines der Objekte bei Darstellung des Videobildes auswahlt, wird 
das aktuelle Bild in ein Videobild umgewechselt, das den ausgewahlten Prozefkiaten zugeordnet ist, und 
es werden auch auswahlbare Objekte innerhalb des Videobildes dargestellt. 

(16) In einem Videobild wurden von der Bedienperson unter Verwendung des Tastpaneels auswahlbare Ob- 
jekte definiert. Wenn die Bedienperson eines der Objekte bei Darstellung des Videobildes auswahlt, wird 
das aktuelle Bild in ein Videobild umgewechselt, das den ausgewahlten ProzefkJaten zugeordnet ist, und 
es werden auch auswahlbare Objekte innerhalb des Videobildes dargestellt, und es wird der zugehorige 
Datenwertdem ausgewahlten Objekt fur Anzeigezwecke uberlagert. 

(17) In einem Videobild wurden von der Bedienperson unter Verwendung des Tastpaneels auswahlbare Ob- 
jekte definiert. 
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[0230] Wenn die Bedienperson eines der Objekte bei Darstellung des Videobildes auswahlt, wird das aktuelle 
Bild in ein Videobild umgewechselt, das den ausgewahlten Prozeftdaten zugeordnet ist, und es werden auch 
auswahlbare Objekte innerhalb des Videobildes dargestellt, und ferner wird der zugehorige Datenwert dem Vi- 
deobild unter Verwendung von Computergraphik fur Anzeigezwecke uberlagert. 

[0231] Die oben angegebenen Funktionen werden nun detaillierter hinsichtlich der Wiedergabe von aufge- 
zeichneten Prozeftdaten, Bilddaten und Audiodaten erlautert. 

[0232] Unter Bezugnahme auf die Fig. 29 bis Fig, 39 wird nun die Funktion 1 beschrieben. Eine Standard- 
wiedergabebetriebsart fur aufgezeichnete Information wird dadurch ausgewahlt, daft der Betriebsartwahlknopf 
2410 unter Verwendung des Tastpaneels ausgewahlt wird. Wenn eine optische Platte abgespielt wird, wird der 
Aufzeichnungsablauf fur eine andere optische Platte ausgefuhrt, die sich von der vorigen optischen Platte un- 
terscheidet. Wie es in Fjg^32 dargestellt ist, wird der Videocontroller 2603 im Aufgabenbereich 2404 darge- 
stellt. Wie es in Fig, 35A dargestellt ist, weist der Videocontroller folgendes auf: einen Wiedergabeknopf 2705 
fur verdoppelte Wiedergabegeschwindigkeit in Vorwartsrichtung; einen Wiedergabeknopf 2704 mit Standard- 
wiedergabegeschwindigkeit in Vorwartsrichtung; einen Wiedergabeknopf 2701 mit verdoppelter Wiedergabe- 
geschwindigkeit in Ruckwartsrichtung; einen Wiedergabeknopf 2702 fur Standardwiedergabegeschwindigkeit 
in Ruckwartsrichtung und einen Bildstoppknopf 2703. Wenn mit einem Betriebsartwahlknopf 2410 eine Be- 
triebsart fur langsame Wiedergabe ausgewahlt wird, wie in Flea. 35B dargestellt, werden ein Wiedergabeknopf 
2706 fur 1/2 Wiedergabegeschwindigkeit in Ruckwartsrichtung und ein Wiedergabeknopf 2707 fur 1/2 Wieder- 
gabegeschwindigkeit in Vorwartsrichtung statt des Wiedergabeknopfes fur verdoppelte Wiedergabegeschwin- 
digkeit in Ruckwartsrichtung bzw. des Wiedergabeknopfes fur verdoppelte Wiedergabegeschwindigkeit in Vor- 
wartsrichtung dargestellt. Es ist zu beachten, daft der Wiedergabebetrieb fur Bild- und Toninformation mit Stan- 
dardgeschwindigkeit bedeutet, daft diese Wiedergabe mitderselben Geschwindigkeit wie bei der Aufnahme 
ausgefuhrt wird; die Vorwartsrichtung entspricht der Richtung des Zeitablaufs. Demgemaft bedeutet z. B. eine 
Wiedergabe mit verdoppelter Wiedergabegeschwindigkeit in Ruckwartsrichtung, daft der Wiedergabebetrieb 
mit verdoppelter Aufzeichnungsgeschwindigkeit in einer Richtung ausgefuhrt wird, die umgekehrt zur Zeitab- 
laufrichtung verlauft. Obwohl bei diesem Ausfuhrungsbeispiel die Wiedergabebetriebsart in die Standardbe- 
triebsart und die Betriebsart mit langsamer Wiedergabe fur aufgezeichnete Information unterteilt ist, ist die Er- 
findung nicht auf diese zwei Betriebsarten beschrankt. 

[0233] Wenn der Wiedergabeknopf 2704 mit der Standardwiedergabegeschwindigkeit in Vorwartsrichtung 
am Tastpaneel niedergedruckt wird, werden sowohl die Videodaten als auch die Audio(Ton-)daten mit Stan- 
dardgeschwindigkeit in Vorwartsrichtung wiedergegeben, und die wiedergegebenen Videodaten werden auf 
der Videoanzeigeeinheit 2402 dargestellt. Dabei wird der Zeitkursor 2503 innerhalb der Trendkurve in Uber- 
einstimmung mit diesem Bild bewegt, und die Prozeftdaten fur den Zeitpunkt, zu dem das dargestellte Bild auf- 
gezeichnet wurde, erscheinen auf dem Zeitkursor 2503. Wenn der Zeitkursor 2503 einen bestimmten Ort er- 
reicht, werden die Prozeftdaten aus der Datenbasis 2104abgerufen, und dann wird der auf der Zeitachse 2504 
dargestellte Zeitpunktwert nach links (nach rechts) verschoben, so daft die Prozeftdaten zu einem neuen Zeit- 
punkt, der auf der aktuellen Zeitachse 2504 nicht vorhanden ist, dargestellt werden. Wenn andere Bilder dar- 
gestellt werden, werden Daten zu Werten fur diese Bilddarstellablaufe sequentiell auf anderen Prozeftdaten- 
anzeigeeinheiten, wie dem Meftgerat 2405, dargestellt. Wie zuvor erlautert, wird nicht nur die Video- und Au- 
dioinformation wiedergegeben, sondern auch die zum Zeitpunkt beim Erhalten der Videoinformation erfaftten 
Prozeftdaten werden aus der Datenbasis abgerufen, um dargestellt zu werden, wenn der oben beschriebene 
Bildwiedergabeablauf ausgefuhrt wird. 

[0234] Infolgedessen konnen die zum Zeitpunkt der Bildaufnahme erfaftten Prozeftdaten beobachtet werden, 
wahrend das Bild betrachtet wird. Da auch andere Wiedergabeknopfe verwendet werden, kann schnelle Wie- 
dergabe in Vorwartsrichtung, umgekehrte Wiedergabe, langsame Wiedergabe und dergleichen fur die Video- 
information ausgefuhrt werden, was dazu nutzlich ist, auftergewohnliche Umstande zu entdecken/zu analysie- 
ren, wodurch ein Bedienzustand diagnostiziert wird und auch eine Steueranweisung fur den Bedienzustand 
ausgegeben wird. 

[0235] Ein Verfahren zum Realisieren des vorliegenden Beispiels wird nun erlautert. 

[0236] Zunachst sei auf Datenstrukturen und Aufzeichnungsverfahren fur Video- und Audio(Ton-)daten und 
auch von Prozeftdaten bei diesem Beispiel hingewiesen. In F|g >s<i< 36A zeigen Daten 2800 eine Strukturfur Pro- 
zeftdaten an, die von der gesteuerten Vorrichtung 2101 an den Steuerungscomputer ubertragen werden. Da 
im allgemeinen mehrere Datenarten uber ein einziges Kabel eingegeben werden, besteht diese Strukturaus 
einem Informationskopf 2801 , der den Beginn von Prozeftdaten anzeigt, der Datenart 2802, der Anzahl von 
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Daten 2803 und Daten ab 2804 bis 2806, die den ProzefkJaten entsprechen. Der Steuerungscomputer 2102 
gibt mehrere Daten mit diesem Format aus, die von den jeweiligen Kabeln uber das LAN 2120 eingegeben 
wurden. In der Datenbasis 2104 werden die zugefuhrten ProzefkJaten faktorisiert und mit einer Anordnung mit 
der Struktur der Daten 2820 ( Fig. 38B ) zusammen mit einem Zeitpunkt "t" eines in der Datenbasis 2104 vor- 
liegenden Taktes aufgezeichnet. Hierbei bezeichnet ein Bezugszeichen 2821 einen Datenindex, ein Bezugs- 
zeichen 2822 kennzeichnet einen Datentitel, ein Bezugszeichen 2823 bezeichnet einen Zeitpunkt, und ein Be- 
zugszeichen 2824 bezeichnet ProzefkJaten. Wie oben beschrieben, beinhaltet die Datenbasis 2104 eine Ta- 
belle, die der ProzefkJatenart entspricht, und der letzte Datenwert wird zusammen mit dem Zeitpunkt "t" nach 
dem abschlie&enden Element dieser Anordnung aufgezeichnet, bei dem es sich um das Element dieser Ta- 
belle handelt. 

[0237] Wenn andererseits eine Anweisung zum Aufrufen eines Blocks der ProzefkJaten von der Workstation 
2103 in die Datenbasis 2104 eingegeben wird, werden Daten mit der Struktur, wie sie fur die Daten 2810 in 
FSa, 38C daraestellt ist, an die Workstation 2103 ubertragen. Diese Daten 2810 bestehen aus einem Informa- 
tionskopf 2811 , der den Beginn der ProzefkJaten anzeigt, einer Datensortenangabe 2812, einer Datennummer 
2813, Daten 2814 bis 2816, die den ProzefkJaten entsprechen, einem Zeitpunktdatenwert 2817 fur die Daten 
2814 und einem Zeitpunktdatenwert 2819 fur die Daten 2816. Abhangig von den Arten der die Blocke aufru- 
fenden Anweisungen konnen selbstverstandlichen die Datenlangen und die Intervalle der Zeitpunktdaten ver- 
andert werden. 

[0238] Nachfolgend wird der Aufzeichnungsbetrieb fur Video- und Tondaten erlautert. Zunachst zeigt 2830 in 
F§q, 36D die Strukturen fur die aufzuzeichnenden Video/Audio-Daten. Allgemein gesagt, beinhalten, da von 
mehreren Kameras aufgenommene Videodaten aufgezeichnet werden, die jeweiligen Video/Audio-Daten ei- 
nen Index 2831 (Plattennummer) und einen Datentitel 2832 (Kameranummer Oder Dampferzeugernummer). 
In dieser Figur bezeichnet ein Bezugszeichen 2834 einen Zeitpunkt, zu dem eine Toninformation aufgezeich- 
net wird; ein Bezugszeichen 2833 bezeichnet Audio(Ton-)information; ein Bezugszeichen 2835 bezeichnet ei- 
nen Zeitpunkt, zu dem Videoinformation aufgezeichnet wird, und ein Bezugszeichen 2836 bezeichnet Video- 
information. Es ist zu beachten, daf3> die Videoinformation und die Audioinformation getrennt aufgezeichnet 
werden, wie dies in dieser Figur dargestellt ist, daft jedoch alternativ sowohl die Videoinformation als auch die 
Audioinformation in Kombination aufgezeichnet werden konnen. Im Fall eines solchen kombinierten Aufzeich- 
nungsablaufs wird die Zeitpunktinformation gemeinsam verwendet. 

[0239] Unter Bezugnahme auf Fj g Ju u 37 wird nun ein Verfahren zum Aufzeichnen der oben beschriebenen Vi- 
deo- und Audiodaten beschrieben, wie auch ein Verfahren zum Wiedergaben der Video- und Audiodaten. Bei 
diesem Ausfuhrungsbeispiel wird, was den Videoaufzeichnungsbetrieb betrifft, eine dreistufige Folge (Schritte) 
in der CPU 2201 der Workstation 2103 ausgefuhrt, wie durch 2901 bis 2903 angezeigt. Nachdem diese Folge 
ausgefuhrt wurde, wird der Aufzeichnungsablauf in einem Schritt 2904 gestartet. Beim Videoaufzeichnungs- 
betrieb werden dann, wenn das System initiiert wird und die Wiedergabebetriebsart abgeschlossen wird und 
dann die Betriebsart zur Aufzeichnungsbetriebsart zuruckkehrt, alle Videoschirme zunachst aufgezeichnet. 
Anschlieftend wird, wie dies in einem Schritt 2905 dargestellt ist, die Videoinformation nurdann in einem Schritt 
2906 aufgezeichnet, wenn die Aufzeichnungsbedingung erfullt ist. Was die Audioinformation betrifft, wird die- 
se, da die zum Aufzeichnen derselben erforderlich Kapazitat verhaltnismafcig klein im Vergleich zu der fur das 
Aufzeichnen von Videoinformation erforderlichen Kapazitat ist, jederzeit aufgezeichnet. Sowohl die Aufzeich- 
nungs-als auch die Wiedergabeablaufe nur fur Videoinformation werden nun beschrieben. 

[0240] In einem Schritt 2901 zum Bestimmen des aufzuzeichnenden Videoobjekts wird entschieden, welches 
Objekt aufzunehmen ist. Bei einem konkreten Verfahren kann ein beliebiges der folgenden Verfahren einge- 
setzt werden. 

(1) Alle Kamerabildschirme werden auf Aufnahme eingestellt. GemaG einem Realisierungsverfahren wer- 
den alle von den Videokameras gelieferten Signale aufgezeichnet. 

(2) Bereiche, die einen prozefkJatenausgebenden Abschnitt, einen sich bewegenden Abschnitt und einen 
sich verandernden Abschnitt enthalten, werden vorab spezifiziert. Nur diese Bereiche sind aufzuzeichnen. 
' n Ei£L _j.6E dargestellte Daten 2840 entsprechen in diesem Fall einer Datenstruktur der Videodaten 2836. 
Ein Element der Daten 2840 enthalt eine Anordnung aufzuzeichnender Bilddaten 2846 sowie Positionsin- 
formation fur diese, namlich Koordinatenwerte 2841 und 2842 fur die Bilddaten, Grofcen der Bilddaten 
(raumliche Abmessung eines Schirms) 2843, 2844 sowie Zeitpunkt oder lndex-)daten 2845, wenn der letzte 
aller Schirmdatenwerte aufgezeichnet wurde. Gernafi einem Realisierungsverfahren werden dann, wenn 
eine ITV-Kamera gezoomt, geneigt und verschwenkt wird, alle Schirme aufgezeichnet. Nach einem solchen 
Kamerabetrieb werden, wenn der Kamerabetrieb angehalten wird, die Videodaten 2836 an die Workstation 
2103 gesendet, damit eine Bildanalyse ausgefuhrt wird und dann ein ein aufzuzeichnendes Objekt enthal- 
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tender Bereich festgelegt wird. Der Einfachheit halber sei dieser Bereich z. B. ein Rechteck. Wenn dieser 
Bereich festgelegt ist, wird Positionsinformation zu diesem Bereich, wie ein Koordinatenwert, und die Grofte 
an die Video/Audio-Aufzeichnungseinheit 2108 gesendet, und anschlieftend wird nur dieser von der Kame- 
ra gesendete Bereich aufgenommen und von der CPU 2301 aufgezeichnet. Wahrend des Wiedergabebe- 
triebs werden die Videodaten fur den Zeitpunkt 2845 aufgerufen und dann mit den aufgezeichneten Daten 
2846 durch die CPU 2301 vermischt, so daft alle Schirme wiedergegeben werden. 

[0241] In einem Schritt2902 zum Bestimmen einer Videoaufzeichnungsbedingung wird eine Bedingung zum 
Aufzeichnen eines Bildes festgelegt. Als konkrete Bedingung wird eine beliebige der folgenden Bedingungen 
verwendet. 

(1) Aufzeichnungsbetrieb wird in einem vorbestimmten Zeitintervall ausgefuhrt. Dies wird so ausgefuhrt, 
daft die CPU 2201 und 2301 innerhalb entweder der Workstation 2103 oder der Video/Audio-Aufzeich- 
nungseinheit 2108 Takte beinhalten. Im ersteren Fall wird eine Anweisung zum Aufzeichnen von Videoda- 
ten fur jeden konstanten Zeitpunkt an die Video/Audio-Aufzeichnungseinheit 2108 gesendet. Im letzteren 
Fall wird nur die Anweisung zum Beginnen eines Aufzeichnungsablaufs an die Video/Audio-Aufzeichnungs- 
einheit 2108 ubertragen. Danach verwaltet die CPU 2301 die Aufzeichnungszeit. 

(2) Wenn die Differenz zwischen dem aktuellen Videobild und dem zuletzt von jeder Kamera aufgezeichne- 
ten Videobild grofter wird als ein vorgegebener Schwellenwert, wird das aktuelle Bild aufgezeichnet. Dies 
wird so ausgefuhrt, daft der Differenzwert zwischen der Videoinformation des Schirms, der im Hauptspei- 
cher 2302 innerhalb der Video/Audio-Aufzeichnungseinheit 2108 abgespeichert ist, und der Videoinforma- 
tion zum aktuellen Zeitpunkt in der CPU 2301 berechnet wird und die Aufzeichnungsanweisung abhangig 
von diesem Wert an die Video/Audio-Leseeinheit 2304 gesendet wird. 

(3) Wenn jeder der Prozeftdatenwerte einen fur diesen Prozeftdatenwert spezifischen konstanten Wert 
uberschreitet, werden Videobilder fur diesen Datenwert aufgezeichnet. Dies erfolgt dahingehend, daft die 
in die Workstation 2103 eingegebenen Prozeftdaten in der CPU 2201 verarbeitet werden und eine Anwei- 
sung an die Video/Audio-Aufzeichnungseinheit 2108 in solcher Weise ausgegeben wird, daft ein Videobild 
einer Kamera, die das sich auf einen solchen auftergewohnlichen Datenwert beziehende Bild aufnimmt, 
aufgezeichnet wird. 

(4) Wenn die Differenz zwischen dem aktuellen Wert und dem vorigen Wert jedes Prozeftdatenwerts einen 
konstanten, fur diesen Prozeftdatenwert spezifischen Wert uberschreitet, werden mit diesen Prozeftdaten 
in Beziehung stehende Videobilder aufgezeichnet. Dieses Realisierungsverfahren ist ahnlich zu Punkt (3). 

(5) Wenn ein gewichteter Mittelwert der jeweiligen Prozeftdaten einen konstanten Wert uberschreitet, wer- 
den mit diesem Datenwert in Beziehung stehende Videobilder aufgezeichnet. anders gesagt, muft der fol- 
gende Wert den Wert 

e = Zwi-di 

uberschreiten, bei dem die Gewichtung wi(wi > 0) und der jeweilige Prozeftdatenwert di ist. Ein Realisie- 
rungsverfahren kann dasselbe sein wie beim obigen Punkt (3). 

(6) Ein erster Aufzeichnungsbetrieb wird mit vorgegebenem Zeitintervall ausgefuhrt, und ein anderer Auf- 
zeichnungsbetrieb wird mit einem kurzeren Zeitintervall ausgefuhrt, wenn eine der oben angegebenen Be- 
dingungen erfullt ist, und wenn die Bedingung nicht erfullt ist, wird dieses kurzere Zeitintervall auf das ur- 
sprungliche Zeitintervall ruckgefuhrt. 

[0242] Der Schritt 2903 zum Bestimmen des Videoaufzeichnungsverfahrens legt ein Aufzeichnungsverfahren 
fest. Als konkretes Beispiel besteht eine der folgenden konkreten Bedingungen: 

(1) Von einer ITV-Kamera aufgenommene Videoinformation wird direkt aufgezeichnet. 

(2) Die Differenz zwischen einem vorigen Schirm und einem aktuellen Schirm wird aufgezeichnet. Dies be- 
deutet, daft die Differenz zwischen dem aktuellen Bild und dem zwischengespeicherten Bild von der CPU 
2301 berechnet wird und die berechnete Differenz in der Hauptspeichereinheit 2302 abgespeichert wird. 
Wahrend des Wiedergabebetriebs wird ein Videobild eines aufgezeichneten Videobildes dadurch erzeugt, 
daft die Differenzen zwischen alien aufgezeichneten Objekten ab einem bestimmten Zeitpunkt bis zum ak- 
tuellen Zeitpunkt addiert/subtrahiert werden. 

[0243] Videodaten zu einem Zeitpunkt T, die auf die oben beschriebene Weise aufgezeichnet wurden, wer- 
den mit den aufeinanderfolgenden Schritten dargestellt, wie sie in Fig. 38 gezeigt sind. Der Schritt 3001 spe- 
zifiziert einen Index 2821 und einen Zeitpunkt "t" fur die Videodaten. Es ist zu beachten, daft die Spezifizierung 
des Videoindex von der Workstation 2103 ausgefuhrt wird, wahrend die Spezifizierung des Zeitpunktes "t" ent- 
weder von der Workstation 2103 oder der in der Video/Audio-Aufzeichnungseinheit 2108 verwendeten CPU 
2301 ausgefuhrt wird. Wenn Videoinformation fur den Zeitpunkt "t" nicht aufgezeichnet ist, wie dies durch die 
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Schritte 3002 und 3303 gezeigt wird, Nest die Video/Audio-Aufzeichnungs/Lese-Einheit 2304 die Videodaten 
aus, die zu einem Zeitpunkt "s" erfaftt wurden, der der nachstliegende Zeitpunkt in bezug auf den Zeitpunkt T 
ist. Im Schritt 3004 wird, falls ein Videodatenwert einem Wert fur direkt aufgezeichnete Videoinformation ent- 
spricht, dieser Videodatenwert direkt verwendet. Wenn dagegen die Differenz aufgezeichnet wurde, wird in ei- 
nem Schritt 3005 auf die sehr dicht beim Zeitpunkt "t" liegende Videoinformation zugegriffen, bei der es sich 
nicht um den Differenzwert handelt. Dann wird die aufgefundene Videoinformation in den Hauptspeicher 2302 
innerhalb der Aufzeichnungseinheit 21 08 eingeschrieben. In einem Schritt 3006 wird die Differenz gegenuber 
der Videoinformation aus diesem Speicher berechnet, um ein Bild zu erzeugen. Wenn das Videobild alle Teile 
der entsprechenden Videobilder enthalt, wird dieses Videobild dargestellt. Falls nicht, wird das durch Kombi- 
nieren dieses Videobildes mit einem Hintergrund erstellte Videobild dargestellt. 

[0244] Wenn eine Wiedergabeanweisung zum Spezifizieren einer Wiedergaberichtung und einer Wiederga- 
begeschwindigkeit von der Workstation 2103 ausgesendet wird, stellt die CPU 2301 innerhalb der Video/ Au- 
dio-Aufzeichnungseinheit 2108 die Anzeigezeitdaten "t" innerhalb derselben nach der folgenden Gleichung 
ein: 

t = t + aw, 

wobei das Symbol "w" eine Videolesegeschwindigkeit bei der Standardwiedergabegeschwindigkeit und das 
Symbol "a" einen positiven Wert anzeigt, wenn die Wiedergaberichtung die Vorwartsrichtung ist, dagegen ei- 
nen negativen Wert, wenn die Wiedergaberichtung die umgekehrte Richtung ist, und auch einen Koeffizienten 
vom Absolutwert 2 im Fall der doppelten Wiedergabegeschwindigkeit und des Absolutwerts 1 im Fall der Stan- 
dardwiedergabegeschwindigkeit anzeigt. Was die Bilddarstellung wahrend des Wiedergabebetriebs betrifft, 
werden im Fall der Wiedergabe in Vorwartsrichtung dann, wenn der Zeitdatenwert "t" den Datenwert 2835 
uberschreitet, die Videodaten 2836 an die Workstation 2103 gesendet. Im Fall der Wiedergabe in Ruckwarts- 
richtung werden dann, wenn der Zeitdatenwert "t" kleiner als der auf den Zeitdatenwert 2835 folgende Zeitda- 
tenwert wird, die Videodaten 2836 ubertragen. Wenn eine Anfrage zum Erkennen eines Zeitpunkts beim Dar- 
stellen eines Bildes durch die Workstation 2103 ausgegeben wird, wird dieser Zeitpunkt T an die Workstation 
2103 ubertragen. 

[0245] Unter den oben genannten Aufzeichnungs/Wiedergabe-Verfahren reprasentiert Rg._39 eine Prozeft- 
folge zum Realisieren der ersten Funktion. In einem Schritt 3101 wird eine Wiedergabebetriebsart aus einem 
Menu ausgewahlt. Zu diesem Zeitpunkt stellt die Workstation 2103 den Steuerknopf dar, wie er durch das Be- 
zugszeichen 2603 in Fig- 34 aekennzeichnet ist. In einem Prozeftschritt 3102 erfaftt die Workstation 2103 die 
Art des Knopfes durch Verarbeiten eines Eingangssignals von der Zeigeeinrichtung, wie dem Tastpaneel, und 
durch Uberprufen dieses Eingangssignals. Zu diesem Zeitpunkt wird zum Anzeigen, daft dieser Knopf, wie er 
in Fjg. 34 dargestellt ist, niedergedruckt wurde, der niedergedruckte Knopf mit veranderter Farbe wieder auf 
der Anzeige dargestellt, und sowohl die Wiedergaberichtung als auch die Geschwindigkeit werden bestimmt. 
In einem Prozeftschritt 3101 wird ein Zeitpunkt T, zu dem darzustellende Prozeftdaten zum nachsten Zeit- 
punkt zu erzeugen sind, auf Grundlage der festgelegten Wiedergabegeschwindigkeit und Wiedergaberichtung 
bestimmt. 

[0246] Als konkretes Beispiel bestehen die folgenden zwei Verfahren: 

(1) An die Video/Audio-Aufzeichnungseinheit 2108 wird eine Abfrage betreffend den Zeitpunkt "t" ausgege- 
ben, zu dem die dargestellten Video- und Audiodaten aufgezeichnet wurden. 

(2) Ein durch die unten angegebene Formel angezeigter Zeitpunkt "t" wird als Zeitpunkt fur das nachste Mai 
verwendet: 

t = t + av. 

[0247] Dabei bezeichnet das V eine Zeitspanne zum Neuschreiben aller zu einem Zeitpunkt dargestellter 
Daten, und das Symbol "a" weist einen positiven Wert auf, wenn die Wiedergaberichtung die Vorwartsrichtung 
ist, und einen negativen Wert, wenn die Wiedergaberichtung die Ruckwartsrichtung ist, und es weist auch den 
Wert eines Koeffizienten vom Absolutwert 2 im Fall doppelter Wiedergabegeschwindigkeit, jedoch eines Ab- 
solutwerts 1 im Fall der Standardwiedergabegeschwindigkeit auf. Es ist zu beachten, daft, da die Datenneu- 
schreibzeitspanne durch andere Belastungen des Computers verandert wird, auch das Verfahren (1) kombi- 
niert ist. Da dieses Verfahren verwendet wird, kann die Zeitspanne fur die nachste Anzeigeinformation von ei- 
ner fuhrenden Zeitspanne eingeleitet werden, die einer Zeitspanne entspricht, wahrend der die Videoinforma- 
tion und die Audioinformation durch die Workstation 2103 dargestellt werden. 
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[0248] In einem Prozeftschritt 3104 wird eine Beurteilung dahingehend vorgenornrnen, ob die zum Zeitpunkt 
"t" darzustellenden Prozeftdaten innerhalb des Datenpuffers in der Workstation 2103 vorhanden sind oder 
nicht, und wenn diese Prozeftdaten vorhanden sind, werden sie dargestellt. Dieser zutreffende Fall gilt dafur, 
daft die Prozeftdaten fur den Zeitpunkt "t" zwischengespeichert wurden, oder daft, obwohl fur den Zeitpunkt T 
keine Daten vorlagen, die Daten vor/nach diesen Daten zwischengespeichert wurden. Wenn nur Daten 
vor/nach diesen Daten zwischengespeichert wurden, werden die sehr dicht zum Zeitpunkt "t" liegenden Daten 
dazu verwendet, diese ProzefkJaten zu ersetzen, oder es werden neue Daten dadurch erzeugt, daft die Daten 
vor/nach diesen Daten linear interpoliert werden. Wenn keine Daten vorliegen, bestimmt die Workstation 2103 
in einem Prozeftschritt 3105 einen Bereich zum Lesen von Daten als Anzeigedaten aus der Datenbasis 2104, 
was auf Grundlage der Anzeigegeschwindigkeit und der Anzeigerichtung erfolgt. In einem Prozeftschritt 3106 
werden beide Arten anzuzeigender Prozeftdaten und der Bereich der auszulesenden Daten uber ein LAN an 
die Datenbasis 2104 gesendet, und die von der Datenbasis 2104 nachgefragten Prozeftdaten werden an die 
Workstation 2103 ubertragen. In einem Prozeftschritt 3107 wird die Video- und Audioinformation dargestellt 
oder ausgegeben, und in einem Prozeftschritt 3108, in der Workstation 2103, werden die jeweils gesendeten 
Prozeftdaten zusammen mit der Videoinformation und der Audioinformation in Form einer Trendkurve oder ei- 
nes Meftgerats unter Verwendung der im Hauptspeicher 2202 abgelegten Prozeftdaten dargestellt. 

[0249] Unter Bezugnahme auf die Fag. 29 bis Fla. 34 sowie Fig. 40 wird nun eine zweite Funktion beschrie- 
ben. Der Zeitkursor 2503 istdurch Bewegen eines Fingers nach rechts/links ebenfalls nach rechts/links beweg- 
bar, wahrend der Kursor 2503 durch den Finger unter Verwendung des Tastpaneels 2107 niedergedruckt wird. 
Dabei wird, wie dies in Fig. 40 dargestellt ist, der Zeitkursor 2503 in der Trendkurve 2403 direkt auf einen Zeit- 
punkt bewegt, auf den sich eine Bedienperson beziehen rnochte, so daft ein Zeitkursor 3201 innerhalb einer 
anderen Trendkurve 2403 zu dem durch den Zeitkursor 2503 angezeigten Zeitpunkt bewegt wird und ein fur 
den durch den Zeitkursor 2503 festgelegten Zeitpunkt geltendes Bild aufgerufen und dann im Videoanzeige- 
bereich 2402 dargestellt wird. Dabei zeigen das Meftgerat 2405 und dergleichen in FjflJlO Daten fur den durch 
den Zeitkursor 2503 angezeigten Zeitpunkt an. Eine Spezifizierung eines Zeitpunktes, der aktuell nicht auf der 
Zeitachse der Trendkurve 2403 dargestellt wird, kann dadurch erfolgen, daft die Zeitachsenverstellknopfe 
2506 und 2507 verwendet werden. Wie zuvor beschrieben, kann durch Spezifizieren des Orts, auf den sich 
dargestellte Prozeftdaten beziehen sollen, sowohl Beziehung zum Bild fur den Zeitpunkt, zu dem diese Pro- 
zeftdaten aufgezeichnet wurden, als auch zu anderen Prozeftdaten zu diesem Zeitpunkt hergestellt werden. 
Infolgedessen spezifiziert eine Bedienperson direkt den Zeitpunkt, zu dem Beziehung auf Prozeftdaten erfol- 
gen soil, wahrend sie die Trendkurve 2403 beobachtet, wodurch das Bild dargestellt werden kann. 

[0250] Infolgedessen kann auf konkrete Zustande vor Ort durch Bezugnahme auf die Prozeftdaten Bezug ge- 
nommen werden. 

[0251] Ein Leseverfahren fur dieses Beispiel wird nun unter Bezugnahme auf Fjgu.41 beschrieben. Der durch 
Fig, 41 veranschaulichte Algorithmus weist Punkte auf, die sich von solchen des Algorithmus von Fig. 39 un- 
terscheiden, und zwar dahingehend, daft ein durch den Zeitkursor bezeichneter Zeitpunkt T in einem Schritt 
3301 festgestellt wird und in einem Schritt 3302 beurteilt wird, ob der Zeitpunkt "t" zuvor innerhalb der Work- 
station 2103 gepuffert wurde oder nicht. Im Schritt 3301 wird der Koordinatenwert des Eingangssignals der Zei- 
geeinrichtung, wie des Tastpaneels und dergleichen, von der CPU 2201 in der Workstation 2103 verarbeitet, 
der Zeitkursor 2503 wird erneut in dieses Koord in ate n system eingezeichnet, und auch der durch den Zeitkur- 
sor 2503 bezeichnete Zeitpunkt wird aus dem Koordinatenwert berechnet. Wenn keine Datenwerte fur den 
Zeitpunkt "t" innerhalb der Workstation 2103 gepuffert sind, werden die sequentiellen Schritte 3105 und 3106, 
wie sie beim bevorzugten Ausfuhrungsbeispiel 1 beschrieben wurden, ausgefuhrt, und dann werden Daten, 
Video- und Toninformation in den sequentiellen Schritten 3106 und 3107 dargestellt. 

[0252] Es wird nun eine dritte Funktion beschrieben. Wie in Fig, 42 dargestellt, wird, nachdem eine Daten- 
grofte 3401 in einer Datengroftenanzeigeeinheit innerhalb der Trendkurve 2403 durch Benutzen des Tastpa- 
neels 21 07 ausgewahlt wurde, ein Datenwertkursor 2505 auf einen zu suchenden Wert gebracht, wodurch ein 
Suchwert bestimmt wird. Wenn zu diesem Zeitpunkt der ausgewahlte Datenwert den vom Datenwertkursor 
2505 angezeigten Wert aufweist, wird der Zeitkursor 2503 bewegt, und der Zeitkursor 3402 wird hierbei in einer 
anderen Trendkurve 2403 bewegt, so daft das Bild fur diesen Zeitpunkt auf der Videoanzeigeeinheit 2402 dar- 
gestellt wird. Zu diesem Zeitpunkt wird auch der Datenwert fur den durch den Zeitkursor 2503 bezeichneten 
Zeitpunkt auf dem in F§q, 32 dargestellten Meftgerat 2405 dargestellt. Hierbei wird der Suchablauf nur einmal 
in Umkehrrichtung betreffend die Zeitachse ausgefuhrt. Ferner wird, wenn ein anderer Suchablauf erwunscht 
ist, der Suchablauf in Umkehrrichtung dadurch asugefuhrt, daft der Zeitachsen-Verstellknopf 2506 gedruckt 
wird. Wenn andererseits ein Suchablauf in Vorwartsrichtung ausgefuhrt wird, wird dies dadurch vorgenornrnen, 
daft ein Knopf 2507 fur die Vorwartsrichtung gedruckt wird. Wie zuvor festgestellt, wird hinsichtlich der gerade 
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dargestellten Prozeftdaten dann, wenn ein Wert aufgesucht wird, das Suchergebnis dargestellt und sowohl das 
Bild fur den Zeitpunkt, zu dem die angezeigten Daten aufgezeichnet wurden, als auch die anderen Prozeftda- 
ten fur diesen Zeitpunkt konnen erfaftt werden. 

[0253] Ein Verfahren zum Realisieren dieses Beispiels wird nun beschrieben. In einem Schritt 3501 wird ein 
Koordinatenwert eines Eingangssignals von einer Zeigeeinrichtung, wie des Tastpaneels 2107 und derglei- 
chen, durch die Workstation 2103 verarbeitet, und ein Suchwert, wie er von einem Datenwertkursor 2505 an- 
gezeigt wird, der als Suchobjekt in einer Datengroftenanzeigeeinheit 2502 ausgewahlt ist, wird bestimmt. 
Nachfolgend wird in einem Schritt 3502 die Suchrichtung, d. h. Suche in Vorwartsrichtung oder in Ruckwarts- 
richtung, hinsichtlich der Zeitachse bestimmt. Als Beispiel sei angenommen, daft grundsatzlich Suche in Ruck- 
wartsrichtung ausgefuhrt wird und daft ferner dann, wenn der Vorwartsrichtungsknopf 2507 unterden Zeitach- 
sen-Verstellknopfen gedruckt wird, der Suchablauf in Vorwartsrichtung ausgefuhrt wird, und dann, wenn ein 
Ruckwartsrichtungsknopf 2507 unter den Zeitachsenverstellknopfen gedruckt wird, der Suchablauf in Ruck- 
wartsrichtung ausgefuhrt wird. Eine Beurteilung dahingehend, ob dieser Knopf gedruckt wurde, wird von der 
Workstation 21 03 ausgefuhrt. In einem Schritt 3503 werden eine ein Suchobjekt enthaltende Suchanweisung, 
ein Suchwert, ein Zeitpunkt fur die gerade dargestellten Daten, die Suchrichtung und dergleichen an die Da- 
tenbasis 104 ausgegeben, und sowohl ein Suchwert, wie er fur den ersten Zeitpunkt festgestellt wird, und die 
Anzeigezeit werden in einem Schritt 3504 bestimmt. Da die folgenden Schritt 3104 bis 3109 mit denen von Bei- 
spiel 1 ubereinstimmen, werden Erlauterungen hierzu weggelassen. 

[0254] Gemaft dieser Funktion kann derVergleich und die Analyse unter Verwendung anderer Prozeftdaten- 
werte und der Videoinformation erfolgen, und ein aufterordentlicher Wert, wie er sehrselten auftritt, kann unter 
einer Bedingung aufgerufen werden, bei der bestimmte Prozeftdaten einen konstanten Wert einnehmen. 

[0255] Ein Beispiel fur die vierte Funktion wird nun unter Bezugnahme auf die Fh^ uu 44 , Fjg Juu 45 und Qsl46 
beschrieben. In Fig. 44 reprasentiert im Fall, daft der Knopf 2705 fur die verdoppelte Wiedergabegeschwindig- 
keit in Vorwartsrichtung ausgewahlt wird, wenn Videoinformation wiedergegeben wird, eine Zeitachse 2504 in- 
nerhalb einer Trendkurve 2403 eine Zeit mit verdoppeltem Bereich darstellt, gerade darzustellende Prozeftda- 
ten fur die erneute Darstellung an die neue Zeitachse angepaftt werden, und auch Daten, die bisher nicht dar- 
gestellt wurden, aus der Datenbasis ausgelesen werden und dann an die auszulesende Zeitachse angepaftt 
werden. Nachfolgend wird ein Bild mit einer Geschwindigkeit auf der Videoanzeigeeinheit 2403 dargestellt, die 
doppelt so graft ist wie die Standardgeschwindigkeit, wobei der Zeitkursor 2503 bewegt wird. Wie oben be- 
schrieben, werden wahrend der Wiedergabe mit doppelter Geschwindigkeit Daten fur eine langere Zeitspanne 
in der Trendkurve 2403 dargestellt, und zeitbedingte Anderungen der Daten konnen beobachtet werden. Eine 
solche Representation ist fur Datensuchablaufe nutzlich. 

[0256] Wenn andererseits, wie in Fig. 45 dargestellt, der Knopf 2707 fur 1/2-Wiedergabegeschwindigkeit be- 
tatigt wird, zeigt die Zeitachse 2504 nur die halbe Zeitspanne im Vergleich zu derjenigen bei Standardge- 
schwindigkeit an. Da hierbei genauere Daten dargestellt werden konnen, werden Daten, die wahrend der Dar- 
stellung mit Standardgeschwindigkeit nicht dargestellt wurden, nun zusammen mit den zuvor aus der Daten- 
basis ausgelesenen Daten, die noch vorhanden sind, dargestellt. D. h., daft dann, wenn das Bild wiedergege- 
ben wird, das Verfahren zum Aufrufen der Prozeftdaten und das Verfahren zum Darstellen der Prozeftdaten 
verandert werden, und zwar abhangig von der Wiedergabegeschwindigkeit. Infolgedessen konnen dann, wenn 
die Wiedergabegeschwindigkeit erhoht wird, da die Daten innerhalb einer verlangerten Zeitspanne in der 
Trendkurve 2403 dargstellt werden konnen, die Datensuche und die Beobachtung leicht ausgefuhrt werden. 
Wenn die Wiedergabegeschwindigkeit erhoht wird, wahrend die Prozeftdaten aufgerufen werden, werden die 
Zeitintervalle zwischen den Datenerzeugungszeitpunkten lang. Jedoch wird der grobe Aufruf, wie er durch die- 
se Darstellung bewirkt nicht, nicht hervorgehoben. Wenn andererseits die Wiedergabegeschwindigkeit ver- 
langsamt wird, konnen die Daten genauer dargestellt werden. Wenn eine detaillierte Analyse erforderlich ist, 
konnen demgemaft die Daten einfach dadurch genauer dargestellt werden, daft das Bild mit langsamerer Wie- 
dergabegeschwindigkeit wiedergegeben wird. 

[0257] Da der Anzeigegrad der Prozeftdaten hinsichtlich der Zeit demgemaft abhangig von der Wiedergabe- 
geschwindigkeit verandert wird, kann die Belastung des Computers in gewissem Ausmaft abgesenkt werden. 

[0258] Ein Verfahren zum Realisieren dieses Beispiels wird nun unter Bezugnahme auf Fig. 48 beschrieben. 
In einem Schritt 3102 werden die Wiedergaberichtung und die Wiedergabegeschwindigkeit fur Videoinforma- 
tion und Audioinformation dadurch bestimmt, daft eine Eingabe von einer Bedienperson empfangen wird. In 
einem Schritt 3801 werden auf Grundlage der festgelegten Geschwindigkeit ein Anzeigeverfahren und ein Auf- 
rufverfahren fur Prozeftdaten in der Workstation 2103 bestimmt. Als Anzeigeverfahren wird eine Anzeigegrofte 
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fur die Zeitachse in der Trendkurve 2403 bestimmt, d. h. es wird bestimmt, wie lange ein Zeitintervall sein soil. 
Als Aufrufverfahren werden sowohl ein Zeitintervall fur Daten in einem aufgerufenen Block als auch die zeitli- 
che Lange in dem zu einern Zeitpunkt aufgerufenen Block bestimmt. Wenn die irn Schritt 3104 gepufferten Da- 
ten nicht ausreichend sind, werden das Zeitintervall und die zeitliche Lange, wie sie im Schritt 3105 bestimmt 
wurden, codiert und dann an die Datenbasis ubertragen. In der Datenbasis werden auf Grundlage der im 
Schritt 3105 ausgesendeten Codes die Blockdaten zum Zeitintervall und das Zeitintervall aus der Datenbasis 
ausgelesen und dann an die Workstation 2103 ubertragen. Anschlieftend wird die Datendarstellung auf Grund- 
lage des in der Workstation vorbestimmten Anzeigeverfahrens ausgefuhrt. Da dieser Teil mit den Schritten 
3104 bis 3109 des oben beschriebenen Ausfuhrungsbeispiels ubereinstimmt, wird eine Erlauterung hierzu 
weggelassen. 

[0259] Es wird nun eine funfte Funktion beschrieben. In Ha, 47 ist als Verfahren zum Darstellen von Prozefc- 
daten die Zeitachse 2504 in einem Abschnitt 3901 der Zeitachse der Trendkurve 2403 auf 1/2 verkurzt, in ei- 
nem Abschnitt 3902 bleibt sie unverandert, und in einem Abschnitt 2903 ist sie auf das Doppelte verlangert. 
Dabei wird das Zeitintervall fur die Erzeugungszeitderdarzustellenden ProzefkJaten im Abschnitt 3901 doppelt 
so lang als im Abschnitt 3902, wohingegen das Zeitintervall fur die Erzeugungszeit der Daten im Abschnitt 
3903 nur halb so groft wird wie das Zeitintervall im Abschnitt 3902. Infolgedessen wird im Abschnitt 3901 die- 
selbe Anzeige wie bei verdoppelter Wiedergabegeschwindigkeit gemaft dem vorigen Ausfuhrungsbeispiel wie- 
dergegeben, dieselbe Anzeige wie bei Standardwiedergabegeschwindigkeit erfolgt im Abschnitt 3902, und die- 
selbe Anzeige wie bei halbierter Wiedergabegeschwindigkeit erfolgt im Abschnitt 3903. Wenn in diesem Fall 
die Wiedergabe mit Standardgeschwindigkeit in Vorwartsrichtung vom Videocontroller 2603 unter Verwendung 
des Knopfes 2704 ausgefuhrt wird, wird das Bild im Videoanzeigebereich 2402 mit doppelter Wiedergabege- 
schwindigkeit wiedergegeben, wenn der Zeitkursor 2503 im Abschnitt 3901 positioniert ist. Wenn der Zeitkur- 
sor 2503 im Abschnitt 3902 positioniert wird, wird das Bild mit Standardwiedergabegeschwindigkeit wiederge- 
geben, und wenn der Zeitkursor 2503 im Abschnitt 3903 positioniert ist, wird das Bild mit halbierter Wiederga- 
begeschwindigkeit wiedergegeben. Anders gesagt, wird, da das Verfahren zum Darstellen der ProzefkJaten 
vorab eingestellt ist, die Wiedergabegeschwindigkeit des Bildes, abhangig von diesem Anzeigeverfahren, ein- 
gestellt, und dann wird das Bild wahrend des Wiedergabeablaufs mit dieser eingestellten Geschwindigkeit wie- 
dergegeben. 

[0260] Infolgedessen kann nicht nur das Verfahren zum Darstellen der Daten von der Bedienperson angege- 
ben werden, sondern es kann das Bild auch mit niedriger Geschwindigkeit wiedergegeben werden, wenn die 
Bedienperson die Daten im Detail zu betrachten wunscht, jedoch auch mit hoher Geschwindigkeit, wenn die 
Bedienperson Daten zu uberspringen wunscht. 

[0261] Als Realisierungsverfahren zu diesem Beispiel wird nun eine Beschreibung unter Bezugnahme auf 
Fig. , 48 gegeben. In einem Schritt 4001 werden auf eine Eingabe durch eine Bedienperson hin zu verkleinern- 
de und zu vergrofternde Zeitachsenabschnitte bestimmt. In einem Schritt 4002 wahlt die Bedienperson eine 
Verkleinerung und eine Vergro&erung fur die Abschnitte. Diese Bezeichnung und Auswahl kann z. B. mit Hilfe 
eines Menus ausgefuhrt werden. Auch ist es, ahnlich wie bei diesem Beispiel, moglich, nachdem ein Abschnitt 
mit Hilfe des Tastpaneels bestimmt wurde, Endpunkte dieses Abschnitts zu erfassen, urn den Abschnitt zu ver- 
kleinern oder zu vergrofcern. Dabei wird die Zeitachse wieder im Schritt 4003 dargestellt, und auch die Prozefc- 
daten werden erneut dargestellt. Zu diesem Zeitpunkt bestimmte die Workstation die Wiedergabegeschwindig- 
keiten fur die jeweiligen Abschnitte, und die bestimmten Wiedergabegeschwindigkeiten werden in den Haupt- 
speicher 2202 eingespeichert. Anschliefcend wird die Wiedergabe begonnen, und der Anzeigezeitpunkt "t" wird 
in einem Schritt 3103 bestimmt. Nachdem der diesen Anzeigezeitpunkt "t" enthaltende Abschnitt bestimmt 
wurde, wird, wenn derfestgelegte Abschnitt nicht mit dem vorigen Abschnitt ubereinstimmt, eine Wiedergabe- 
anweisung, wie eine solche fur die Wiedergabegeschwindigkeit und die Wiedergaberichtung, in einem Schritt 
4004 an die Video/Audio-Aufzeichnungseinheit 2108 gegeben. Die folgenden Schritte dieses Verfahrens sind 
ahnlich zu den Schritten 3104 bis 3109 des vorigen Ausfuhrungsbeispiels. 

[0262] Es wird nun eine sechste Funktion beschrieben. Wenn, was in Ffg. 49 dargestellt ist, Videoinformation 
wiedergegeben wird, werden nicht nur ProzefkJaten dargestellt, sondern in Kombination hiermit wird auch Be- 
dienungsinformation, wie sie von einer Bedienungsperson ausgegeben wurde, wiedergegeben. Hierbei wer- 
den sowohl das Bild auch die Prozeftdaten, die zu diesem Zeitpunkt auf der Anzeige dargestellt wurde, wie- 
dergegeben, und ferner wird eine Eingabe von der Bedienperson, wie sie uber einen Mauskursor4101 erfolgte, 
wiedergegeben und dargestellt. Zu diesem Zeitpunkt wird, wie dies durch 4102 dargestellt ist, ein im Bildan- 
zeigebereich 2402 dargestelltes Bild neu ausgewahlt, so daft Videoinformation, die auf die Bedienung durch 
die Bedienperson erfolgte und nicht zu sehen war, als der Aufzeichnungsbetrieb ausgefuhrt wurde, erfafit wer- 
den kann. Auch konnen ProzefkJaten und dergleichen, die nicht dargestellt wurden, durch einen ahnlichen Ab- 
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lauf dargestellt werden. Infolgedessen kann z. B. ein auftergewohnlicher Vorgang, der wegen einer Fehlbedie- 
nung durch eine Bedienperson erfolgte, schnell aufgefunden werden. Dies kann zu einem groften Vorteil bei 
der Ausbildung fur Steuerungsbedienung fuhren. 

[0263] Ob Anderungen in den Prozeftablaufbedingungen durch eine Bedienungsanweisung einer Bedienper- 
son hervorgerufen sind oder nicht, kann dadurch erkannt werden, daft die von der Bedienperson ausgegebene 
Bedienungsanweisung wiedergegeben wird. Auch wird eine solche Bedienungsanweisung aufgezeichnet und 
wiedergegeben, und sie kann dazu verwendet werden, eine Bedienungsabfolge zu erlautern und sowohl das 
Uberwachungssystem als auch die Arbeitsbedingungen einer Bedienperson zu uberwachen. 

[0264] Eine siebte Funktion besteht darin, daft aufzusuchende, von einer Bedienperson ausgegebene Bedie- 
nungsinformation eingegeben wird, die eingegebene Bedienungsinformation gesucht wird und die Bedie- 
nungsinformation, Videoinformation, Audioinformation und auch Prozeftdaten fur diesen Zeitpunkt abgerufen 
und dargestellt werden. Infolgedessen kann die Suche nach Information dadurch ausgefuhrt werden, daft die 
von einer Bedienperson ausgefuhrte Bedienung als Ziel genornmen wird. 

[0265] Da eine von einer Bedienperson ausgegebene Bedienungsanweisung gesucht werden kann, kann 
nach Anderungen in den Prozeftdaten und im Bild, die durch die von der Bedienperson vorgenommene Bedie- 
nung hervorgerufen wurden, aufgesucht werden. 

[0266] Es wird nun ein Verfahren zum Realisieren der oben erlauterten zwei Beispiele beschrieben. In 
F§q, 36F zeigt ein Datenwert 2850 Schirminformation an, wie sie in der Datenbasis 21 04 aufgezeichnet ist. Die 
Schirminformation 2850 weist einen Zeitpunkt 2851 , eine Bezeichnung fur eine Kamera 2852 zum Aufnehmen 
eines im Bewegungsbildazeigebereich 2202 darzustellenden Bildes, Bezeichnungen von Prozeftdaten 2853 
bis 2855, wie sie in einer Trendkurve 2403 dargestellt werden, und Bezeichnungen von Daten auf, die auf ei- 
nem Meftgerat 2405 und anderen Datenanzeigeeinheiten dargestellt werden. Diese Daten werden von der 
Workstation 2103 an die Datenbasis 2104 ubertragen, wenn die Bedienperson die im Bewegungsbildanzeige- 
bereich 2402 darzustellenden Bilder auswahlt und in der Trendkurve 2403 darzustellende Daten andert, hin- 
zufugt oder loscht. 

[0267] Die Datenstruktur der von der Bedienperson eingegebenen Bedienungsarten stimmt mit der Daten- 
struktur 2820 der Prozeftdaten von Fig, 36B uberein. Es ist zu beachten, daft statt des Prozeftdatenwertes 
2824 eine als Bedienungsdaten eingegebene Bedienungsanweisung eingegeben wird (d. h. eine Anweisung, 
die dadurch erzeugt wird, daft ein Koordinatenwert verarbeitet wird, wie er von der Bedienperson unter Ver- 
wendung einer Zeigeeinrichtung in der Workstation 2103 eingegeben wird). Diese Daten werden auch von der 
Workstation 2103 zu demjenigen Zeitpunkt an die Datenbasis 2104 ausgegeben, zu dem die Bedienungsan- 
weisung ausgegeben wird. 

[0268] Was die Wiedergabe betrifft, ist der Wiedergabealgorithmus derselbe wie derjenige, der in Fig, 39 an- 
gezeigt ist. Es ist zu beachten, daft, obwohl im Schritt 3108 die Prozeftdaten dadurch erzeugt wurden, daft 
Daten sehr dicht beim Anzeigezeitpunkt "t" gewahlt wurden oder dadurch, daft der vorige und der folgende Da- 
tenwert interpoliert wurden, die Ausfuhrung von Daten betreffend eine von einer Bedienperson vorgenommene 
Bedienung dann bewirkt wird, wenn der Anzeigezeitpunkt "t" den Aufzeichnungszeitpunkt der Bedienungsda- 
ten bei der Wiedergabe in Vorwartsrichtung uberschreitet bzw. wenn der Anzeigezeitpunkt "t" den Aufzeich- 
nungszeitpunkt der Bedienungsdaten bei Wiedergabe in Ruckwartsrichtung unterschreitet. Der Inhalt der zum 
Zeitpunkt 2851 aufgezeichneten Schirminformationsdaten wird dann dargestellt, wenn der Anzeigezeitpunkt 
"t" den Zeitpunkt 2851 bei der Wiedergabe in Vorwartsrichtung uberschreitet bzw. dann, wenn der Anzeigezeit- 
punkt T kleiner ist als der Zeitpunkt 2857 bei Wiedergabe in Ruckwartsrichtung. 

[0269] Was den Suchbetrieb betrifft, ist der Suchalgorithmus derselbe wie der in Fscs, 43 dargestellte. Es ist 
zu beachten, daft, nachdem der Anzeigezeitpunkt "t" im Schritt 3504 bestimmt wurde, zunachst in einem 
Schritt 3506 der Schirminfirmationsdatenwert aufgerufen wird, der sehr dicht bei einem Zeitpunkt vor dem An- 
zeigezeitpunkt "t" liegt, und daft danach anzuzeigende Prozeftdaten bestimmt und aufgerufen werden. 

[0270] Die folgenden Beispiele beschreiben bezugnehmende Darstellungen von Video- und Prozeftdaten, 
wenn Video-, Audio- und Prozeftdaten in all den oben beschriebenen Ausfuhrungsbeispielen wiedergegeben 
werden. 

[0271] Eine achte Funktion ist eine solche, wie sie in FjgJgQ dargestellt ist. Das Fenster eines Dampferzeu- 
gers, wie es im Bewegungsbildanzeigebereich 2402 dargestellt wird, wird als Auswahlobjekt 4201 definiert, 



38/97 



DE42 90 947B4 2006.11.02 



wenn dieses Objekt ausgewahlt wird, eine Graphik, die anzeigt, daft dieses Auswahlobjekt ausgewahlt ist, wird 
angezeigt, und es wird auch eine Bezeichnung daraus erzeugter Prozeftdaten 4202 als Prozeftdatengrofte in 
der Trendkurve 2403 dargestellt, und fernerwerden die Prozeftdaten 4203 als Kurve dargestellt. Wie oben be- 
schrieben, werden die betreffenden Prozeftdaten dadurch dargestellt, daft das Auswahlobjekt innerhalb des 
Bildes unter Verwendung der Zeigeeinrichtung ausgewahlt wird. Es ist zu beachten, daft das ausgewahlte Ob- 
jekt nicht das Fenster des Darnpferzeugers ist, sondern das Fenster kann vorab als Auswahlobjekt irn Steue- 
rungscomputer registriert sein. Obwohl die Daten auf einem Meftgerat 2405 statt in der Trendkurve 2403 dar- 
gestellt werden konnen, wird nun der Einfachheit halber nur der Fall beschrieben, daft die Daten in der Trend- 
kurve 2403 dargestellt werden. 

[0272] Eine neunte Funktion ist die gemaft Fag. 5 . Ein oberes Rohr eines Darnpferzeugers, wie er im Bewe- 
gungsbildanzeigebereich 2402 dargestellt wird, wird als Auswahlobjekt 4301 definiert, wenn dieses Objekt 
ausgewahlt wird, eine Graphik zum Anzeigen, daft dieses Auswahlobjekt ausgewahlt wurde, wird dargestellt, 
im Fall, daft in Beziehung zu diesem Auswahlobjekt stehende Prozeftdaten 4302 dem Dampfdruck entspre- 
chen, der vorab in der Trendkurve 2403 aufgezeichnet wurde, wird der Dampfdruck 4302 als Prozeftdatengro- 
fte hervorgehoben, und auch die Kurve 4303 wird hervorgehoben, die die Daten reprasentiert, die zu dem Aus- 
wahlobjekt in Beziehung stehen, das von der Bedienperson ausgewahlt wurde. Anders gesagt, werden dann, 
wenn die Daten zum Auswahlobjekt innerhalb dem ausgewahlten Bild bereits dargestellt wurden, die Daten 
hervorgehoben, die zum Auswahlobjekt gehoren. 

[0273] Eine zehnte Funktion ist die gemaft Fig. 52 . Das linke Rohr eines im Bewegungsbildanzeigebereich 
2402 dargestellten Darnpferzeugers wird als Auswahlobjekt 4401 definiert, wenn dieses Objekt ausgewahlt 
wird, eine Graphik, die anzeigt, daft dieses Objekt ausgewahlt wurde, wird dargestellt, wenn mehrere auf die- 
ses Auswahlobjekt bezogene Prozeftdaten vorhanden sind, wird ein Prozeftdaten als Groften enthaltendes 
Auswahlmenu 4402 direkt neben dem ausgewahlten Objekt innerhalb des Bewegungsbildes dargestellt, und 
es werden auch Daten innerhalb der Trendkurve 2403 dadurch dargestellt, daft gewunschte Prozeftdaten zur 
Bezugnahme durch das Auswahlmenu 4402 unter Verwendung der Zeigeeinrichtung dargestellt werden. An- 
ders gesagt, wird dann, wenn mehrere Groften in Beziehung zum ausgewahlten Objekt innerhalb des ausge- 
wahlten Bildes stehen, das Auswahlmenu dargestellt, aus dem eine Bedienperson erwunschte Daten auswah- 
len kann, auf die Bezug genommen werden soil. 

[0274] Eine elfte Funktion ist die von Ffg, 53 . Der Hauptkorper eines im Bewegungsbildanzeigebereich 2402 
dargestellten Darnpferzeugers wird als Auswahlobjekt definiert, und dann, wenn dieses Auswahlobjekt ausge- 
wahlt ist, wird eine Graphik 4501 dargestellt, die anzeigt, daft dieses Auswahlobjekt ausgewahlt wurde. Pro- 
zeftdaten 4502 bis 4504, die sich auf diese Graphik beziehen, werden unter Oberlagerung mit den jeweiligen 
Bewegungsbildern dargestellt. D. h., daft die in Beziehung stehenden Prozeftdaten am jeweiligen Ort innerhalb 
des Bildes dadurch dargestellt werden, daft das Auswahlobjekt innerhalb des Bildes unter Verwendung der 
Zeigeeinrichtung ausgewahlt wird. 

[0275] Eine zwolfte Funktion ist die von Fig. 54 . Ein gesamter Dampferzeuger, wie er im Bewegungsbildan- 
zeigebereich 2402 dargestellt wird, wird als Auswahlobjekt definiert, und wenn dieses Objekt ausgewahlt ist, 
wird eine Graphik 4601 zum Anzeigen, daft dieses Objekt ausgewahlt wurde, dargestellt. Temperaturvertei- 
lungsdaten, die in Beziehung zu diesem ausgewahlten Objekt stehen, werden aufgerufen, und diese Tempe- 
raturverteilungsdaten werden einer Computergraphik 4602 auf einem Bild fur Anzeigezwecke uberlagert. Das 
Auswahlobjekt innerhalb des Bildes wird unter Verwendung der Zeigeeinrichtung ausgewahlt, und die von den 
Prozeftdaten mit der Computergraphik vorgenommene Darstellung wird diesem ausgewahlten Objekt uberla- 
gert. 

[0276] Eine dreizehnte Funktion ist die von Fics, 55. Ein gesamter Dampferzeuger, wie er im Bewegungsbild- 
anzeigebereich 2402 dargestellt wird, wird als Auswahlobjekt definiert, und dann, wenn dieses Objekt ausge- 
wahlt wird, wird eine Graphik 4701 zum Anzeigen, daft dieses Auswahlobjekt ausgewahlt wurde, dargestellt. 
Es wird auch eine Graphik 4701 an einer Brennstoffzufuhreinheit dargestellt, die in enger Beziehung mit die- 
sem Auswahlobjekt steht. Anders gesagt, wird das Auswahlobjekt innerhalb des Bildes unter Verwendung der 
Zeigeeinrichtung ausgewahlt, und es wird ein Auswahlobjekt innerhalb des Bildes, das zu diesem Auswahlob- 
jekt in Beziehung steht, dargestellt. 

[0277] Eine vierzehnte Funktion ist die von Ein gesamter Dampferzeuger, wie er im Bewegungsbild- 

anzeigebereich 2402 dargestellt wird, wird als Auswahlobjekt definiert, und dann, wenn dieses Objekt ausge- 
wahlt wird, wird eine Graphik 4801 zum Anzeigen, daft dieses Auswahlobjekt ausgewahlt wurde, dargestellt. 
Auch wird zusatzliche Information 4802, wie solche uber das Steuerungsverfahren und Wartungsinformation, 
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die dieses Auswahlobjekt betreffen, aus der Datenbasis ausgelesen und dann auf dem Bild dargestellt. Anders 
gesagt, wird das Auswahlobjekt innerhalb des Bildes unter Verwendung der Zeigeeinrichtung ausgewahlt, und 
es werden zusatzliche Infornnationen hierfur dargestellt, wie solche zurn Steuerungsverfahren, wie auch War- 
tungsinformation und das Bedienungsverfahren. 

[0278] Wie oben beschrieben, konnen auf Grundlage der Funktionen 8 bis 14 Beziehungen zwischen den 
Prozefkiaten und den in der Bildinformation dargestellten Geraten hergestellt werden, so daft die Bedienper- 
son auf die relevanten Gerate innerhalb des Bildes durch Prozefkiaten Bezug nehmen kann, und sie auch auf 
die von den Geraten innerhalb des Bildes ausgefuhrten Prozesse Bezug nehmen kann. Infolgedessen kann z. 
B. eine Bedienperson mit wenig Erfahrung das Gerat einfach dadurch uberwachen, daft sie das Bild und die 
Daten betrachtet. 

[0279] Nachfolgend wird Information innerhalb eines Bildes unter Verwendung von Prozeftdaten dargestellt. 

[0280] Eine funfzehnte Funktion ist die von FigL57 . Eine Prozeftdatengrofte 4302 in der Trendkurve 2403 
wird ausgewahlt, und diese Prozeftdatengrofte 4302 wird hervorgehoben, wodurch eine Darstellung dahinge- 
hend erfolgt, daft diese Prozeftdaten ausgewahlt wurden. Ferner wird eine Graphik 4301 zurn Anzeigen, daft 
ein zu diesen Prozeftdaten gehoriges Auswahlobjekt im Bildanzeigebereich 2402 vorhanden ist, angezeigt. 
Anders gesagt, wird eine Graphik dargestellt, die anzeigt, welches Auswahlobjekt Beziehung zu den Prozeft- 
daten innerhalb des Bildes hat. 

[0281] Eine sechzehnte Funktion ist die von Fig, 58 . Eine Prozeftdatengrofte 4302 in einer Trendkurve 2403 
wird ausgewahlt, wodurch Prozeftdaten 5001 einem mit diesen Prozeftdaten in Beziehung stehenden Aus- 
wahlobjekt uberlagert werden und im Bild 2402 dargestellt werden. 

[0282] Eine siebzehnte Funktion ist die von Fig. 59 . Es wird eine Auswahl hinsichtlich einer Prozeftdatengro- 
fte 4302 innerhalb einer Trendkurve 2403 getroffen, wodurch diese Prozeftdaten einer Computergraphik 5101 
fur ein Auswahlobjekt uberlagert werden, das zu diesen Prozeftdaten in Beziehung steht, und die Anzeige er- 
folgt innerhalb des Bildes 2402. 

[0283] Was die Beispiele der oben beschriebenen Funktionen 8 bis 16 betrifft, wird ein Realisierungsverfah- 
ren hierfur nun unter Verwendung von Fig. 60 beschrieben. Ein Gestaltsmodell fur ein zu steuerndes Gerat 
5201 wird in der Workstation 2103 aufgezeichnet, wobei es sich um das zu uberwachende Objekt handelt. Ein 
Teil dieses Gestaltmodells wird als Auswahlobjekt definiert, das eine Eingabe von einer Bedienperson erhalten 
soli. Dieses Gestaltmodell kann ein einfacher rechteckiger Bereich sein, der durch dreidimensionale Daten, wie 
durch ein CAD-Modell definiert wurde, es kann eine Prozeftdesignzeichnung sein oder ein Bild, wie es von ei- 
ner Kamera 2110 erhalten wurde und wie es von einer Bedienperson betrachtet wird. Um die Position und die 
Grofte dieses Auswahlobjekts innerhalb eines Bildes zu bestimmen, werden Blickwinkelinformation, Vertikal- 
winkelinformation und Horizontalwinkelinformation, wie sie von der ITV-Kamera 2110 ausgegeben werden, zu- 
sammen mit einem jeweiligen Zeitpunkt in der Datenbasis 2104 aufgezeichnet. Alternativ werden auf Grund- 
lage des an die ITV-Kamera zu ubertragenden Kamerasteuerungsbefehls und des Ausgangseinstellungssat- 
zes der ITV-Kamera die Blickwinkelinformation, die Vertikalwinkelinformation und die Horizontalwinkelinforma- 
tion durch die CPU 2201 in der Workstation 2103 berechnet, das Berechnungsergebnis wird an die Datenbasis 
2104gesendet, und dann wird es zusammen mit den jeweiligen Zeitpunkten aufgezeichnet. Da die ITV-Kame- 
ra und das zu steuernde Gerat nicht bewegt werden, konnen die Position und die Abmessung des Auswahl- 
objekts innerhalb des Bildes dadurch erkannt werden, daft die Anfangsposition der Kamera, die aufzuzeich- 
nende Kamerainformation und das Gestaltmodell kombiniert werden. 

[0284] Die ITV-Kamera 2110 zurn Abbilden des Prozeftgerates 5201 stellt Bilder 5202 bis 5204 dadurch her, 
daft ihr Vertikalwinkelinformation 5211, Horizontalwinkelinformation 5212 und Zoomwerte zugefuhrt werden. 
Hierbei sind die Bilder des Prozeftap pa rates 5201 , wie sie in den jeweiligen Anzeigebildern dargestellt werden, 
5202, 5206 und 5207, abhangig von den Zoomwerten. Eine Skalierungs- oder Mafteinteilungsfunktion fur das 
Auswahlobjekt wird innerhalb des Computers, abhangig von den jeweiligen Zoomwerten, ausgefuhrt. Wenn 
ein einfacher Rechteckbereich als Auswahlbereich verwendet wird, ist 5208 ein dem Bild 5202 entsprechendes 
Auswahlobjekt, 5209 ist ein dem Bild 5203 entsprechendes Auswahlobjekt, und 5210 ist ein dem Bild 5204 
entsprechendes Auswahlobjekt. Da die Skalierungsfunktion linear ist, kann sie leicht ausgefuhrt werden. 

[0285] Was ein derartiges, definiertes Auswahlobjekt betrifft, erfolgte eine Definition dann, wenn entweder 
eine Auswahl von einer Bedienperson vorgenommen wurde oder ein Meldungsbefehl von einem anderen Aus- 
wahlobjekt her ubertragen wurde, in solcher Weise, daft Ablaufe dahingehend begonnen werden, daft das aus- 
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gewahlte Objekt dargestellt und die dazu in Beziehung stehenden Daten ausgegeben werden. 

[0286] Eine Datenstruktur fur dieses Auswahlobjekt wird durch in F5q. 36G dargestellten Daten 286 ange- 
zeigt. Bezugszeichen 2861 und 2862 bezeichnen die Grofte des Auswahlobjekts, Bezugszeichen 2863 und 
2864 bezeichnen die Position, und ein Bezugszeichen 2865 bezeichnet einen Vorgang, der gestartet wird, 
wenn er von einer Bedienperson ausgewahlt wird oder in den ein Zeiger oder dergleichen auf eine Bedienung- 
stabelle eingegeben wird; es wird auch relevante Textinformation in 2866 eingegeben. Infolgedessen konnen 
die Apparate innerhalb des Bildes entweder mit den Prozeftdaten oder dazu in Beziehung stehenden Informa- 
tion verknupft werden. Auch kann eine Beziehung zwischen den Apparaten innerhalb des Bildes hergestellt 
werden. Ferner werden die Prozeftdaten und das Auswahlobjekt lediglich dargestellt, jedoch kann auch eine 
vorgegebene Anweisung ausgefuhrt werden, wenn eine Auswahl getroffen wird. 

[0287] Wie oben beschrieben, konnen die Prozeftdaten auf dem Gerat innerhalb des Bildes dargestellt wer- 
den, und eine Bedienperson kann sowohl das sich bewegende Bild als auch die Prozeftdaten beobachten, 
ohne daft es hierzu erforderlich ist, die Blickrichtung zu verandern. Auch wird dies als Computergraphik dar- 
gestellt, so daft die Bedienperson einen Datenwert intuitiv beurteilen kann. Es kann vermieden werden, daft 
nutzlose Bilder oder Hintergrundbilder innerhalb eines Bildes aufgezeichnet werden, die nicht dauernd aufge- 
zeichnet werden mussen, was dadurch erfolgt, daft eine Bedingung fur die Bildaufzeichnungszeit gesetzt wird. 
So werden Video-, Audio- und Prozeftdaten synchron zueinander wiedergegeben, so daft die Prozeftbedin- 
gungen einfacher erfaftt werden konnen und auftergewohnliche Falle schnell aufgefunden werden konnen. 

[0288] Ein direkter Ablauf kann dadurch erzielt werden, daft aus dern Bild diejenigen Prozeftdaten ausge- 
wahlt werden, auf die die Bedienperson Bezug nehmen mochte, oder daft direkt ein solches Bild aus der Pro- 
zeftdatenanzeigeeinheit ausgewahlt wird. Infolgedessen konnen die Oberwachungscharakteristik, die Bedien- 
barkeit und die Zuverlassigkeit des Prozesses verbessert werden. Ferner konnen Prozeftdaten unter Verwen- 
dung der Videodaten gesucht werden, und es konnen Videodaten unter Verwendung der Prozeftdaten gesucht 
werden. 

[0289] Die oben angegebene 8. bis 17. Funktion konnen mit denselben Realisierungsverfahren nicht nur fur 
aufgezeichnete, sondern auch fur in Echtzeit eingegebene Ton- und Bilddaten realisiert werden. Dabei ent- 
sprechen die darzustellenden Steuerdaten aktuell erfaftten Daten. Die Bildauswahl wird dadurch ausgefuhrt, 
daft die ITV-Kameras ausgewahlt werden, oder daft die ITV-Kameras so ferngesteuert werden, daft sie ge- 
schwenkt und gezoomt werden. 

[0290] Wie zuvor beschrieben, weisen die vorliegenden Ausfuhrungsbeispiele die folgenden Vorteile auf: 

(1) Vorschau, wenn Prozeftdatenwerte eingestellt werden. 

[0291] Eine Vorschau kann dadurch ausgefuhrt werden, daft die Video- und Prozeftdaten aus den vergange- 
nen Daten gesucht/dargestellt werden, um zu uberprufen, wie der Prozeft ablauft, wenn eine Bedienperson die 
Prozeftdaten auf einen bestimmten Wert einstellt. 

(2) Vergleiche bei der Bedienungsuberwachung. 

[0292] Der Zustand eines Prozesses kann dadurch erfaftt werden, daft der Bedienungszustand des Uberwa- 
chungsprozesses mit einem Videobild zum Abbilden eines aufgezeichneten Bedienungszustandes, den Audio- 
und den Prozeftdaten verglichen wird. 

(3) Bestimmung von Einstellwerten fur Prozeftdaten. 

[0293] Um einen bestimmten Prozeftdaten we rt auf einen gewunschten Wert einzustellen, muft auch ein damit 
verbundener Datenwert eingestellt werden. Wenn mehrere Datenwerte eingestellt werden mussen, kann einer 
Bedienperson eine Bestimmungsvorgehensweise fur die einzustellenden Werte dahingehend gegeben wer- 
den, daft sie auf die vergangenen Daten Bezug nimmt, auf Video- und Audiodaten. 

(4) Suche und Analyse auftergewohnlicher Vorgange. 

[0294] Die Suche nach einem auftergewohnlichen Fall und die Ermittlung des fehlerhaften Bereichs kann wir- 
kungsvoll dadurch ausgefuhrt werden, daft die synchrone Wiedergabe der vergangenen Prozeft-, Video- und 
Audiodaten ausgefuhrt wird. 
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(5) Simulation zur Ausbildung 

[0295] Eine von einer Bedienperson erstellte Bedienungsanleitung kann als Simulation zur Ausbildung da- 
durch verwendet werden, daft die Bedienungsanleitung wiedergegeben wird. 

[0296] Es ist zu beachten, daft, obowhl bei diesem Ausfuhrungsbeispiel die Zeit zum Synchronisieren der 
Meftdaten mit den Video- oder den Audiodaten aufgezeichnet wird, die Erfindung nicht hierauf beschrankt ist. 
Z. B. kann eine fortlaufende Nummer an die Meftdaten und die Videodaten oder dergleichen angehangt wer- 
den, und dann konnen die Meftdaten mit entweder den Videodaten oder den Audiodaten unter Verwendung 
der fortlaufenden Nummer als Schlussel synchronisiert werden. 

[0297] Was die Wiedergabe der Videodaten oder Audiodaten betrifft, wird bei den oben beschriebenen Aus- 
fuhrungsbeispielen die Wiedergabegeschwindigkeit erhoht oder verzogert. Jedoch ist die Erfindung hierauf 
nicht beschrankt. Z. B. konnen bei einem Wiedergabeverfahren die Videodaten oder die Audiodaten angehal- 
ten (unterbrochen) werden. Was dieses Stationarverfahren betrifft, kann ein durch die Bedienung einer Bedi- 
enperson ausgelostes Verfahren verwendet werden, oder es wird vorab ein Alarm aufgezeichnet, und die Vi- 
deodatenwiedergabe wird angehalten, wenn der Alarm auftritt. Dabei besteht der Vorteil, daft die Schirmdar- 
stellung fur den Fall des Auftretens einer Storung schnell aufgesucht werden kann, wenn der Grund fur die Sto- 
rung analysiert werden soli. 

[0298] Ferner ist das vorliegende Ausfuhrungsbeispiel nicht auf sich bewegende Bilder von den oben ange- 
gebenen ITV-Kameras gerichtet, sondern es kann auch von einer Stehbildkamera aufgenommene Stehbilder 
verarbeiten. 

[0299] Gemaft diesen Ausfuhrungsbeispielen ist es moglich, ein Uberwachungssystem anzugeben, das dazu 
in der Lage ist, die Meftdaten synchron mit der Video- oder Ton information wiederzugeben. 

Patentanspruche 

1 . Interaktives videogestutztes Verfahren zur Bedienung eines Objektsystems aus einzelnen Objekten, bei 
dem 

das Objektsystem mittels eines von einer Videobild-Aufzeichnungseinrichtung (60, 70, 80; 2108, 2110) aufge- 
nommenen Videobilds in Echtzeit auf einer Anzeigeeinrichtung (10, 20; 2103, 2111) dargestellt wird; 
Modelldaten der Objekte des Objektsystems und Aufnahmepararneter der Videobild-Aufzeichnungseinrich- 
tung in einer Speichereinrichtung (310, 320; 2104) gespeichert werden; 

ein Objekt des Objektsystems mittels einer Auswahleinrichtung (12, 20; 2103, 2105, 2106, 2107) ausgewahlt 
und das ausgewahlte Objekt auf der Grundlage der gespeicherten Modelldaten und der Aufnahmepararneter 
identifiziert wird; 

an dem ausgewahlten Objekt auf der Grundlage von aus der Speichereinrichtung ausgelesenen Daten mittels 
einer Ausfuhreinrichtung (300; 2201) ein Steuervorgang ausgefuhrt wird; und 

die Echtzeit-Darstellung des von der Videobild-Aufzeichnungseinrichtung (60, 70, 80; 2108, 2110) aufgenom- 
menen Videobilds auf der Anzeigeeinrichtung (10, 20; 2103, 2111) den ausgefuhrten Vorgang darstellt. 

2. Verfahren nach Anspruch 1 mit folgenden Schritten: 
Einspeichern von auf das Objekt bezogener Positionsinformation; 

Identifizieren eines Objekts auf dem Schirm auf Grundlage der Positionsinformation; und 
Ausfuhren eines Steuervorgangs auf Grundlage des identifizierten Objekts. 

3. Verfahren nach Anspruch 1 oder 2, bei dem der Steuervorgangs-Ausfuhrungsschritt einen Schritt zum 
Andern eines Videobildes auf Grundlage des identifizierten Objekts enthalt. 

4. Verfahren nach Anspruch 1, bei dem der Steuervorgangs-Ausfuhrungsschritt einen Schritt zum Bedie- 
nen einer Videokamera auf Grundlage des identifizierten Objekts aufweist. 

5. Verfahren nach Anspruch 1 , bei dem der Steuervorgangs-Ausfuhrungsschritt einen Schritt zum Bedie- 
nen des identifizierten Objekts aufweist. 

6. Verfahren nach Anspruch 1 , bei dem der Steuervorgangs-Ausfuhrungsschritt einen Schritt zum Uberla- 
gern einer dem identifizierten Objekt entsprechenden Graphik auf dem darzustellenden Bild und zum klaren 
Anzeigen, welches Objekt identifiziert wurde, aufweist. 
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7. Verfahren nach Anspruch 1, bei dem der Steuervorgangs-Ausfuhrungsschritt einen Schritt zum menu- 
maftigen Darstellen einer Liste ausfuhrbarer, dem identifizierten Objekt zugeordneter Vorgange aufweist, aus 
der ein auszufuhrender Steuervorgang ausgewahlt werden kann. 

8. Verfahren nach Anspruch 5, mit einem Schritt zum Bedienen des identifizierten Objekts uber eine zu 
dem Objekt auf der Anzeigeeinrichtung dargestellte Graphik. 

9. Verfahren nach Anspruch 1 , bei dem der Steuervorgangs-Ausfuhrungsschritt folgendes aufweist: 
einen Graphikanzeigeschritt zum Synthetisieren von dem identifizierten Objekt entsprechender Graphik mit 
dem darzustellenden Videobild; 

einem Graphikelementauswahlschritt zum Auswahlen eines Graphikelements; und 

einen Steuervorgangs-Ausfuhrungsschritt zum Ausfuhren eines Steuervorgangs auf Grundlage des durch den 
Graphikelementauswahlschritt ausgewahlten Graphikelements. 

10. Verfahren nach Anspruch 1, bei dem der Objekt-Auswahlschritt einen Schritt zum Hervorheben eines 
Objekts beinhaltet, um ein innerhalb eines Bilds auswahlbares Objekt hervorzuheben. 

1 1 . Verfahren nach Anspruch 1 , bei dem der Steuervorgangs-Ausfuhrungsschritt einen Schritt zum Darstel- 
len von auf das identifizierte Objekt bezogener Information aufweist. 

12. Verfahren nach Anspruch 1 mit: 

einem Suchschlussel-Spezifizierungsschritt zum Spezifizieren eines Suchschlussels durch Eingeben von ent- 
weder Text oder einem Muster; und 

einem Bildsuchschritt zum Darstellen eines Videobilds, bei dem ein Objekt dargestellt wird, das zu dem durch 
den Suchschlussel-Spezifizierschritt spezifizierten Suchschlussel paftt. 

1 3. Verfahren nach Anspruch 1 2, bei dem der Bildsuchschritt einen Schritt zum Auswahlen einer Videoka- 
mera auf Grundlage des Suchschlussels aufweist. 

14. Verfahren nach Anspruch 12, bei dem der Bildsuchschritt einen Schritt zum Bedienen einer Videoka- 
mera auf Grundlage des Suchschlussels aufweist. 

1 5. Verfahren nach Anspruch 1 2, bei dem der Bildsuchschritt einen Schritt zum Hervorheben eines Objekts 
aufweist, das zum Suchschlussel paftt, was dadurch erfolgt, daft mit dem aufgesuchten, darzustellenden Bild 
eine Graphik synthetisiert wird. 

16. Verfahren nach Anspruch 12, bei dem der Suchschlussel-Eingabeschritt einen Schritt zum Eingeben 
eines Suchschlussels durch Sprache beinhaltet. 

17. Verfahren nach Anspruch 1, mit: 

einem Bilddarstellschritt zum Darstellen eines Videobildes auf der Anzeigeeinrichtung; 

einem Bereichsspezifizierschritt zum Spezifizieren eines Bereichs eines im Bildanzeigeschritt dargestellten Vi- 
deobildes; und 

einem Vorgangsdefinierschritt zum Definieren eines einem Bereich zugeordneten Steuervorgangs, der durch 
den Bereichsspezifizierschritt spezifiziert wurde. 

1 8. Verfahren nach Anspruch 1 , mit Schritten zur Fernbedienung und Uberwachung des ausgewahlten Ob- 
jekts. 

19. Verfahren nach Anspruch 1, mit Schritten zum Abspeichern von Steuerdaten zum Steuern eines Ob- 
jekts und zum Abspeichern von Audio- oder Videodaten, die zu dem Objekt in Beziehung stehen, und mit: 
einem Schritt zum Herstellen einer Beziehung der Steuerdaten zu den Audio- oder Videodaten; und 

einem Schritt zum Ausgeben der Steuerdaten und der Audio- oder Videodaten auf Grundlage einer Information 
aus dem Beziehungsherstellungsschritt. 

20. Verfahren nach Anspruch 19, bei dem: 

fernerein erster Wiedergabeschritt zum Wiedergeben der Steuerdaten und ein zweiter Wiedergabeschritt zum 
Wiedergeben der Audiodaten oder der Videodaten vorhanden sind; 

der Beziehungsherstellungsschritt einen Schritt zum Abspeichern von Information zum Herstellen einer Bezie- 
hung zwischen den Steuerdaten und den Audiodaten oder den Videodaten aufweist; 
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der Ausgabeschritt folgendes aufweist: 

einen ersten Ausgabeschritt zum Ausgeben der wiedergegebenen Steuerdaten; 

einen zweiten Ausgabeschritt zum Ausgeben der wiedergegebenen Tondaten oder der wiedergegebenen Vi- 
deodaten; 

einen Synchronisierschritt zum Steuern des ersten und des zweiten Ausgabeschritts in solcher Weise, daft die 
ausgegebenen Steuerdaten mit den Audiodaten oder den Videodaten auf Grundlage der auszugebenden Be- 
ziehungsherstellungsinformation synchronisiert werden. 

21 . Verfahren nach Anspruch 20, bei dem der zweite Wiedergabeschritt ferner folgendes aufweist: 
einen Schritt zum Spezifizieren mindestens der Wiedergaberichtung und der Wiedergabegeschwindigkeit fur 
die Tondaten und die Videodaten; und 

einen Schritt zum Wiedergeben der Audio- und der Videodaten mitderspezifizierten Wiedergabegeschwindig- 
keit und in der spezifizierten Wiedergaberichtung. 

22. Verfahren nach Anspruch 20, bei dem ein Schritt zum Spezifizieren sowohl der auszugebenden Steu- 
erdaten als auch eines zugehorigen Zeitpunkts vorhanden ist, und der Synchronisierschritt den ersten Ausga- 
beschritt in solcher Weise anweist, daft Videodaten oder Audiodaten zu einem Zeitpunkt ausgegeben werden, 
der sehr dicht bei einem Zeitpunkt liegt, zu dem die fur die Ausgabe spezifizierten Steuerdaten aufgezeichnet 
wurden. 

23. Verfahren nach Anspruch 22, bei dem der Spezifizierschritt einen Schritt zum Akzeptieren eines Such- 
werts fur die Steuerdaten aufweist; 

der Synchronisierschritt einen Schritt zum Suchen eines Zeitpunkts aufweist, zu dem die spezifizierten Steu- 
erdaten diesen Suchwert einnehmen; und 

der erste Ausgabeschritt einen Schritt zum Ausgeben sowohl des Zeitpunkts als auch des Datenwerts zu die- 
sem Zeitpunkt aufweist. 

24. Verfahren nach einem der Anspruche 20, 22, 23, bei dem der Synchronisierschritt folgendes aufweist: 
einen Schritt zum Festlegen eines Anzeigegrades der Steuerdaten, abhangig von der Wiedergabegeschwin- 
digkeit der Videodaten oder Audiodaten; und 

einen Schritt zum Darstellen der Steuerdaten mit dem festgelegten Anzeigegrad synchron zu der Wiedergabe 
der Audiodaten oder der Videodaten. 

25. Verfahren nach einem der Anspruche 22 bis 24, bei dem der Spezifizierschritt einen Schritt zum Ak- 
zeptieren des Darstellungsgrades der Steuerdaten aufweist; 

der erste Ausgabeschritt einen Schritt zum Anzeigen der Steuerdaten, abhangig vom festgelegten Anzeige- 
grad, aufweist; 

der Synchronisierschritt einen Schritt zum Festlegen einer Wiedergabegeschwindigkeit, abhangig vom spezi- 
fizierten Anzeigegrad aufweist; und 

der erste Ausgabeschritt einen Schritt zum Ausgeben der Videodaten und der Audiodaten mit der vorgegebe- 
nen Geschwindigkeit aufweist. 

26. Verfahren nach Anspruch 20, bei dem ferner ein Speicherschritt zum Einspeichern von Bedienungs- 
eingabeinformation von einer Bedienperson vorhanden ist, und der Ausgabeschritt einen dritten Ausgabe- 
schritt zum Ausgeben der Bedienungseingabeinformation der Bedienperson synchron mit der Wiedergabe der 
Videodaten oder der Audiodaten aufweist. 

27. Verfahren nach Anspruch 20, bei dem ferner ein Schritt zum Akzeptieren der Bedienungseingabeinfor- 
mation vorhanden ist; 

der Synchronisierschritt einen Schritt zum Suchen von Video- und Audiodaten aufweist, die zu einem Zeitpunkt 
erfaftt wurden, der sehr dicht bei einem Zeitpunkt liegt, zu dem die spezifizierte Bedienung eingegeben wurde; 
und 

der zweite Ausgabeschritt einen Schritt zum Steuern des dritten Ausgabeschritts aufweist, um die Bedienungs- 
eingabeinformation synchron mit der Wiedergabe der Videodaten oder der Audiodaten durch den zweiten Aus- 
gabeschritt auszugeben. 

28. Verfahren nach Anspruch 20, das ferner folgendes aufweist: 

einen Schritt zum Spezifizieren eines innerhalb eines Bilds aufzuzeichnenden Objekts, zum Spezifizieren einer 
Aufzeichnungsbedingung fur das aufzuzeichnende Objekt, und zum Akzeptieren mindestens eines Aufzeich- 
nungsverfahrens fur die Bilddaten; 
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wobei der Synchronisierschritt den Lesevorgang der Audiodaten oder der Videodaten dadurch steuert, daft er 
mindestens eine der Spezifizierungen fur das aufzuzeichnende Objekt, die Aufzeichnungsbedingung und das 
Aufzeichnungsverfahren bestimmt. 

29. Verfahren nach Anspruch 19, mit: 

einem ersten Ausgabeschritt zum Ausgeben der Steuerdaten; 

einem zweiten Ausgabeschritt zum Ausgeben der Audiodaten oder der Videodaten; und 

einem Schritt zum Steuern des ersten Ausgabeschritts in solcher Weise, daft die mit dem zu uberwachenden, 
ausgewahlten Objekt in Beziehung stehenden Steuerdaten ausgegeben werden. 

30. Verfahren nach Anspruch 19, bei dem der Beziehungsherstellungsschritt einen Speicherschritt zum 
Abspeichern von Information zum Herstellen der Beziehung zwischen dem zu uberwachenden Objekt und den 
Steuerdaten sowie von. Information zu dem zu uberwachenden Objekt aufweist, und der Steuerschritt folgen- 
des aufweist: 

einen Schritt zum Auswahlen der mit dem ausgewahlten, zu uberwachenden Objekt in Beziehung stehenden 
Steuerdaten auf Grundlage der Information zu dem zu uberwachenden Objekt und zum Auswahlen der in Be- 
ziehung stehenden Information, die abgespeichert wurden, und 

einen Schritt zum Darstellen der ausgewahlten Steuerdaten mit Hilfe des ersten Ausgabeschritts. 

31. Verfahren nach Anspruch 19, bei dem im Fall, daft mehrere, mit dem ausgewahlten, zu uberwachen- 
den Objekt in Beziehung stehende Steuerdaten vorhanden sind, derzweite Ausgabeschritt folgendes aufweist: 
einen Schritt zum Darstellen eines Auswahlmenus zum ausgewahlten, zu uberwachenden Objekt und von zu 
ihm in Beziehung stehenden Steuerdaten nahe dem Objekt; 

einen Schritt zum Akzeptieren mindestens eines Punkts aus dem Auswahlmenu; und 
einen Schritt zum Darstellen der dem akzeptierten Punkt zugeordneten Steuerdaten. 

32. Verfahren nach Anspruch 29, bei dem der zweite Ausgabeschritt einen Schritt zum Darstellen der mit 
dem ausgewahlten, zu uberwachenden Objekt in Beziehung stehenden Steuerdaten innerhalb einerTrendkur- 
ve aufweist. 

33. Verfahren nach Anspruch 29, bei dem derzweite Ausgabeschritt einen Schritt zum Darstellen sowohl 
des ausgewahlten Objekts als auch mindestens eines Steuerdatenwerts nahe dem Objekt aufweist, der mit 
dem ausgewahlten Objekt verknupft ist. 

34. Verfahren nach Anspruch 29, bei dem derzweite Ausgabeschritt einen Schritt zum Darstellen der mit 
dem ausgewahlten, zu uberwachenden Objekt in Beziehung stehenden Steuerdaten als Graphik und zum 
Uberlagern der Graphik auf einem Bild fur das ausgewahlte, zu uberwachende Objekt aufweist. 

35. Verfahren nach Anspruch 20, bei dem der Beziehungsherstellungsschritt einen Speicherschritt zum 
Abspeichern sowohl von Information zu einem zu uberwachenden Objekt als auch von Information zum Inbe- 
ziehungsetzen des zu uberwachenden Objekts mit einem mit diesem in Beziehung stehenden zu uberwachen- 
den Objekt aufweist; 

der Steuerschritt einen Schritt zum Auswahlen eines zu uberwachenden, mit dem ausgewahlten, zu uberwa- 
chenden Objekt in Beziehung stehenden Objekts auf Grundlage der gespeicherten Information zum zu uber- 
wachenden Objekt und der zugehorigen Information aufweist; und 

derzweite Ausgabeschritt einen Schritt zum Darstellen eines Bilds aufweist, das anzeigt, daft das ausgewahl- 
te, zu uberwachende Objekt ausgewahlt wurde, und auch zum Darstellen des ausgewahlten, zu uberwachen- 
den Objekts, das mit dem ausgewahlten, zu uberwachenden Objekt in Beziehung steht. 

36. Verfahren nach Anspruch 20, bei dem der Beziehungsherstellungsschritt einen Speicherschritt zum 
Abspeichern von Information uber ein zu uberwachendes Objekt und von Information zum Herstellen einer Be- 
ziehung zwischen dem zu uberwachenden Objekt zu zusatzlicher, damit in Beziehung stehender Information 
aufweist; 

der Steuerschritt die zusatzliche Information auswahlt, die mit dem zu uberwachenden, auszuwahlenden Ob- 
jekt in Beziehung steht, was auf Grundlage der Information zum abgespeicherten, zu uberwachenden Objekt 
und der damit in Beziehung stehenden Information erfolgt; und 

derzweite Ausgabeschritt einen Schritt zum Darstellen eines Bilds aufweist, das anzeigt, daft das ausgewahl- 
te, zu uberwachende Objekt ausgewahlt wurde, und um die ausgewahlte, zusatzliche Information anzuzeigen, 
die mit dem zweiten ausgewahlten, zu uberwachenden Objekt in Beziehung steht. 
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37. Verfahren nach Anspruch 29, bei dem der Beziehungsherstellungsschritt einen Schritt zum Abspei- 
chern von Information aufweist, um das zu uberwachende Objekt mit den Steuerdaten in Beziehung zu setzen; 
der Steuerschritt einen Schritt zum Auswahlen eines zu uberwachenden, mit den ausgewahlten Steuerdaten 
in Beziehung stehenden Objekts auf Grundlage der Information aufweist; und 

der zweite Ausgabeschritt einen Schritt zum Darstellen des ausgewahlten, zu uberwachenden Objekts auf- 
weist. 

38. Verfahren nach Anspruch 37, bei dem der zweite Ausgabeschritt folgendes aufweist: 

einen Schritt zum Darstellen der Steuerdaten in einer Trendkurve und zum Auswahlen der dargestellten Da- 
tengrofte; und 

einen Schritt zum Darstellen, daft das mit den Steuerdaten in Beziehung stehende, zu uberwachende Objekt 
im Bild ausgewahlt wurde. 

39. Verfahren nach Anspruch 37, bei dem der zweite Ausgabeschritt einen Schritt zum Darstellen der Steu- 
erdaten innerhalb einer Trendkurve und zum Auswahlen der dargestellten Datengrofte aufweist; und 

der Steuerschritt einen Schritt aufweist, zum Wechseln von einem nicht zu den Steuerdaten in Beziehung ste- 
henden, zu uberwachenden Objekt, auf ein Bild mit einem zu uberwachenden Objekt, das zu den Steuerdaten 
in Beziehung steht; und 

der zweite Ausgabeschritt eine solche Darstellung vornimmt, daft das zu den Steuerdaten in Beziehung ste- 
hende, zu uberwachende Objekt innerhalb des Bilds ausgewahlt wird. 

40. Interaktive videogestutzte Vorrichtung zur Ausfuhrung des Verfahrens nach einem der Anspruche 1 bis 
39, mit 

einer Videokamera (60; 2110) in der Videobild-Aufzeichnungseinrichtung (60, 70, 80; 2108, 2110) zum Aufneh- 
men des Videobilds des Objektsystems in Echtzeit; 

einem Schirm (10; 2111) in der Anzeigeeinrichtung (10, 20; 2103, 2111) zum Darstellen des aufgenommenen 
Videobilds des Objektsystems; 

einem Speicher (31 0, 320; 21 04) zum Speichern der Modelldaten der Objekte des Objektsystems und der Auf- 
nahmeparameter der Videobild-Aufzeichnungseinrichtung (60, 70, 80; 2108, 2110); 

einem Zeigegerat (12; 2105, 2107) in der Auswahleinrichtung (12, 20; 2103, 2105, 2106, 2107) zum Auswah- 
len eines Objekts aus dem auf der Anzeigeeinrichtung abgebildeten Videobild des Objektsystems zum Identi- 
fizieren des ausgewahlten Objekts auf der Grundlage der gespeicherten Modelldaten und der Aufnahmepara- 
meter; und 

einer CPU (300; 2101) in der Ausfuhreinrichtung (300; 2201) zum Steuern des Vorgangs an dem ausgewahlten 
Objekt auf der Grundlage von aus der Speichereinrichtung ausgelesenen Daten. 

Esfolgen51 Blatt Zeichnungen 
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